文本挖掘与web数据挖掘.pptVIP

8.5 本章小结 文本挖掘以及Web数据挖掘技术在现实生活中有着广泛的应用。本章对文本挖掘以及Web数据挖掘技术作了简要介绍，并通过两个案例深入地展示了相关技术和思想。 * * * 8.4 基于内容的垃圾邮件识别 8.4.1 垃圾邮件识别方法简介 8.4.2 基于内容的垃圾邮件识别方法工作原理 8.4.3 一种基于聚类的垃圾邮件识别方法 * 8.4.1 垃圾邮件识别方法简介 主流的垃圾邮件识别技术可分为邮件服务器端防范技术和邮件客户端防范技术两大类 邮件服务器端防范技术： 基于IP地址、域名和 “(黑)白名单”过滤技术； 基于信头、信体、附件的内容过滤技术； 基于连接频率的动态规则技术； 邮件客户端防范技术： 充分利用黑名单，白名单功能； 慎用“自动回复”功能；尽量避免泄露邮件地址； * 基于内容的垃圾邮件识别技术 基于内容的垃圾邮件识别技术是邮件服务器端防范技术的主流技术，以上提到的基于信头、信体、附件的内容过滤技术是典型的基于内容的方法 这类型方法的典型代表有Bayes方法、kNN、支持向量机SVM、Rocchio、神经网络等 * 8.4.2 基于内容的垃圾邮件识别方法工作原理 一封标准格式的电子邮件包含有邮件头部(mail head)和邮件体(mail body)两部分 邮件头部包括发件人，收件人，抄送人，发信日期，主题，附件等信息 邮件体包括邮件正文信息 实例图如下： * * 垃圾邮件过滤的基础 在不考虑附件、图片化文字等问题，只简单考虑邮件中包含的文本内容情况下，这类垃圾邮件大概占总垃圾邮件数量的80% 垃圾邮件过滤的基础是识别出所接收到邮件是正常邮件还是垃圾邮件，而这个识别过程可以看作是一种二类的文本分类问题，即正常邮件和垃圾邮件两个类别文本的识别 * 识别方法的主要步骤 基于内容的垃圾邮件识别方法的主要步骤： 将解码并格式化后的电子邮件视为文本； 分词并使用相应的文本表示方法来表示文本，较多的方法采用向量空间模型 VSM； 基于已有的垃圾邮件和正常邮件语料库，采用文本分类算法建立垃圾邮件识别模型； 基于识别模型判别新收到的邮件是否为垃圾邮件 * 8.4.3 一种基于聚类的垃圾邮件识别方法 介绍的方法首先采用聚类算法学习训练语料，并建立识别模型，然后再结合kNN分类方法思想对测试语料决策分类，具有很好的识别准确度以及效率 并可以通过聚类算法增量更新模型 * 建立识别模型 利用一趟聚类算法建立识别模型，过程如下: 初始时, 簇集合为空,读入一个新的文本； 以这个对象构造一个新的簇，该文本的类别标识作为新簇的类别标识； 若文本已被处理完,则转(6),否则读入新对象, 计算并选择最大的相似度的簇； 若最大相似度小于给定半径阈值r,转(2)； 否则将该文本并入具有最大相似度的簇，转(3)； 采用投票机制对聚类得到的簇进行标识； 得到聚类结果(识别模型)，建模阶段结束。 * 决策分类 结合kNN分类方法思想，利用识别模型对测试语料进行分类处理： 给定一个测试文本x，使用公式(1)计算模型m0的每个簇的打分，即 (1) (2) 找出k1(first_k_value)个最近邻的簇，并在这些簇中查找k2(second_k_value)个最近邻的文本 基于得到的k2最近邻文本集，使用公式(2)给其打分，并将x判定为得分最高的类别 * 模型更新 对于新添加的训练语料，采用建立模型一样的方法对新添加的训练文本进行增量式聚类，更新聚类结果，以得到新的识别模型 * 部分算法性能测试结果 * Ling-Spam语料lemm版本上的十折交叉验证分类结果 * Ling-Spam上的增量式建模分类TCR值 * Ling-Spam上的增量式建模的簇变化情况 * 相关技术(续) 以上方法普遍会面临以下三个关键问题的挑战 文档冗余信息的识别和处理 重要信息的辨认 生成文摘的连贯性 * 性能评估 自动文摘包含标准文摘的信息比率是内部测评中对文摘内容完整性的一种重要测评 几个主流的评价方法： 单文档文摘评价系统(Summary Evaluation Environment) ROUGE Pyramid BE(Basic Elements)方法 * 8.2 Web数据挖掘 8.2.1 Web内容挖掘 8.2.2 Web使用挖掘 8.2.3 Web结构挖掘 * 8.2.1 Web内容挖掘 Web内容挖掘是从Web页面的文本、图像、视频和组成页面的其它内容中提取信息的过程 Web内容挖掘在Web搜索、垃圾邮件过滤、敏感信息过滤、情报分析、数字图书馆建设、网络舆情监控等方面有着重要的应用价值 文本挖掘技术可应用于Web页面的文本挖掘中 图像和视频等内容的挖掘是多媒体数据挖掘中的重要部分 主要方法也是数据预处理、分类、聚类、关联规则 * 8.2.2 Web使用