本科Web信息搜索.PDFVIP

本科：Web信息搜索 §4.2 文本分类 (Text Classification) 徐悦甡 ysxu@ / xuyueshen@163.com 知识与数据工程研究中心 本节提纲 文本分类（Text Classification ）  示例、定义与范畴  文档表示与特征选择  中文文本类别与层次分类结构（人工）  文本分类方法 ➢ 分类流程 ➢ 基于划分的方法（e.g., K近邻） ➢ 基于模型的方法（不细讲）  分类效果评估 2017/5/6 软件工程系 示例、定义与范畴  一般性分类任务举例 举例  形状分组（已知四类） 第一类：圆 第二类：长方形 第三类：三角形 第四类：不规则 各自应该属于哪个类？ 第一类 、第二类 、第三类 、第四类：已知标记  对比 ，聚类问题中是没有任何已知标记的 2017/5/6 3 软件工程系 示例、定义与范畴  范畴与示例 一般性分类  事先已知部分样本的类别，然后将新样本划分到相应别中的 问题 文本分类  已知一部分文档的类别，根据给定的新文本的内容，将其判 别为事先确定的若干个类别中的某一类或某几类的过程 新闻类 体育类 应该属于哪一类？ 2017/5/6 软件工程系 示例、定义与范畴  范畴与示例 文本分类与信息检索的关系  每一本信息检索的教材中都会讲到“文本分类” ➢ 相似网页归类 (主要由文本组成)  发现相似内容的网页，组成相似网页组  提升搜索体验，提升搜索结果的多样性  对于后台，节省计算时间，提高排序/建索引效率 ➢ 垃圾网页识别 ➢ 病毒/异常网页识别 ➢ 垃圾邮件识别 ➢ 异常网页文本内容识别 2017/5/6 5 软件工程系 示例、定义与范畴  范畴与示例 文本分类与信息检索的关系 ➢ 我们不是在学 《搜索引擎使用手册》或 《搜索引擎使用技巧》 - 面向人民群众 v.s. 面向专业数据人员 ➢ 我们也不是在学 《搜索引擎优化技巧（SEO ）》 - 面向网站运营人员 v.s. 面向专业数据人员 2017/5/6 软件工程系 文本分类任务  文档表示 预处理：分词（中文）  对文档进行分词，去掉与分类关联不大的词汇（如停用词） ➢ 停用词：的，啊，了，么等没有意义的词；我、你、他等意义不 大的词 ➢ 实现方法：有成形的工具，如中科院，清华，哈工大，西电的分 词工具 文档表示（通用方法） 词表  向量空间法  将文档表示成一个向量 … ➢ 词频表示法 人民：10 日报：11