文本聚类与分类 - 计算机新技术研究所.pdf

内容回顾 •  试解释基于用户反馈的查询扩展 •  试解释自动查询扩展的工作原理 •  试计算acb和abd的编辑距离(Edit distance) Beihang 《信息检索原理》课程 1 《信息检索原理》课程 第五讲 文本分类与聚类技术 授课人：孙海龙 2016.10.21 1 提纲 •  文本分类概述 •  无监督的机器学习算法 •  有监督的机器学习算法 Beihang 《信息检索原理》课程 3 概述 •  物以类聚: 对于大量的文档，如何能够按照某个 主题进行搜索 –  按照共同的主题对文档进行分组 (grouping) –  对分组进行标注（labeling ） –  每一个这样的分组称为一个类别 （class） •  文本分类 –  将文档与所属类别关联的过程 –  Classification/categorization •  相关的问题-文本聚类（Clustering） –  只分组，不进行标注 –  可看作分类的一种特殊情况 Beihang 《信息检索原理》课程 4 2 基本方法：机器学习 •  机器学习 –  从数据中学习特定模式 –  通过得到的模式可以对新数据进行预测 –  三种类型算法 •  有监督的学习：有训练数据 •  无监督的学习：无训练数据 •  半监督的学习：训练数据很少 Beihang 《信息检索原理》课程 5 文本分类问题的定义 •  文本分类器 –  D: 文档集合 –  C={c ,c ,…,c }: L个类别，每个类别通过label 1 2 L 进行描述 –  二元分类函数F=D X C →{0,1} ，即d ,c = j p •  1，如果d 是类c 的成员 j p •  0 ，如果d 不是类c 的成员 j p –  多元分类函数：multi-label问题 Beihang 《信息检索原理》课程 6 3 无监督的分类算法 Beihang