文本分类（text classification） - researchgate.pdf

Web信息检索 §4.2 文本分类 (第一次课) 徐悦甡 ysxu@ / xuyueshen@163.com 知识与数据工程研究中心 本节提纲 文本分类（Text Classification ）  示例、定义与范畴  文档表示与特征选择  中文文本类别与层次分类结构（人工）  文本分类方法 ➢ 分类流程 ➢ 基于划分的方法（e.g., K近邻） ➢ 基于模型的方法（不细讲）  分类效果评估 2017/4/20 软件工程系 示例、定义与范畴  一般性分类任务举例 举例  形状分组（已知四类） 第一类：圆 第二类：长方形 第三类：三角形 第四类：不规则 各自应该属于哪个类？ 第一类 、第二类 、第三类 、第四类：已知标记  对比 ，聚类问题中是没有任何已知标记的 2017/4/20 3 软件工程系 示例、定义与范畴  范畴与示例 一般性分类  事先已知部分样本的类别，然后将新样本划分到相应别中的 问题 文本分类  已知一部分文档的类别，根据给定的新文本的内容，将其判 别为事先确定的若干个类别中的某一类或某几类的过程 新闻类 体育类 应该属于哪一类？ 2017/4/20 软件工程系 示例、定义与范畴  范畴与示例 文本分类与信息检索的关系  每一本信息检索的教材中都会讲到“文本分类” ➢ 相似网页归类 (主要由文本组成)  发现相似内容的网页，组成相似网页组  提升搜索体验，提升搜索结果的多样性  对于后台，节省计算时间，提高排序/建索引效率 ➢ 垃圾网页识别 ➢ 病毒/异常网页识别 ➢ 垃圾邮件识别 ➢ 异常网页文本内容识别 2017/4/20 5 软件工程系 文本分类任务  文档表示 预处理：分词（中文）  对文档进行分词，去掉与分类关联不大的词汇（如停用词） ➢ 停用词：的，啊，了，么等没有意义的词；我、你、他等意义不 大的词 ➢ 实现方法：有成形的工具，如中科院，清华，哈工大，西电的分 词工具 文档表示（通用方法）  向量空间法  将文档表示成一个向量 词表 人民：0 ➢ 词频表示法 日报：1 引领：2 位置编号 0 1 2 3 4 5 6 7 8 9… 民族：3 这个Doc= (4, 5, 0, 0, 1, 1, 3, …) 复兴：4 战略：5