《统计自然语言处理与信息检索》第8讲文本分类概述 2.pptVIP

第8讲：文本分类 孙越恒 yhs@tju.edu.cn 提纲 分类技术在自然语言中的应用 文本分类的一般过程 贝叶斯分类 K近邻 决策树分类和最大熵分类 支持向量机分类 分类技术在自然语言中的应用 分类的概念 给定: 一个固定的文本分类体系及其描述: C = {c1, c2,…cn} 一个实例的描述, x∈X, X是实例空间 由于类别是事先定义好的，因此分类是有指导的（或者说是有监督的） 确定: 实例x的类别 c(x)∈C, c(x) 是一个分类函数，定义域是X，值域是C 分类技术在自然语言中的应用 问题 对象 分类 词性标注 词的上下文 词性 词义消歧 词的上下文 词义 介词附着 句子 分析树 命名实体识别 句子 实体类别 作者识别 文档 作者 语言识别 文档 语言类型 文本分类 文档 主题 分类的一般过程（2） 朴素贝叶斯分类 假定：对给定类，各个属性值的出现概率是互相独立的。 只计算单个属性值的分布，大大减少了计算量 分类的一般过程（1） 训练集 数学模型 训练过程 测试集 评价 参数计算 文本分类Na?ve Bayes算法(训练) 文本分类Na?ve Bayes算法(测试) Na?ve Bayes举例 Na?ve Bayes举例(续) 参数计算： P(well | E) = (0.9)(0.1)(0.1)(0.99)/P(E)=0.0089/P(E) P(cold | E) = (0.05)(0.9)(0.8)(0.3)/P(E)=0.01/P(E) P(allergy | E) = (0.05)(0.9)(0.7)(0.6)/P(E)=0.019/P(E) 最大概率类: allergy P(E) = 0.089 + 0.01 + 0.019 = 0.0379 P(well | E) = 0.24 P(cold | E) = 0.26 P(allergy | E) = 0.50 讨论 朴素的贝叶斯假定在一个位置上出现的词的概率独立于另外一个位置的单词，这个假定有时并不反映真实情况 虽然独立性假设很不精确，别无选择，否则计算的概率项将极为庞大 幸运的是，在实践中朴素贝叶斯学习器在许多文本分类中性能非常好，即使独立性假设不成立 K近邻（K-Nearest Neighbors，KNN） 最近邻分类规则 对于测试样本点 x，在集合中距离它最近的的 x1。 最近邻分类就是把 x 分为 x1 所属的类别 最近邻规则的推广—— KNN KNN算法的基本过程 KNN算法的描述 KNN中的相似度度量 最简单的是欧式距离 最常用的还是用TF-IDF 计算权重，用Cosine计算相似度的方法 KNN图示 * * *