Lecture 11_ An Application - text classification 机器学习概论 教程文件.pptVIP

Newsgroup－18828文档集 Newsgroups最早由Lang于1995收集并在[Lang 1995]中使用。 它含有20000篇左右的Usenet文档，几乎平均分配20个不同的新闻组。 除了其中4.5%的文档属于两个或两个以上的新闻组以外，其余文档仅属于一个新闻组，因此它通常被作为单标注分类问题来处处理 Newsgroups已经成为文本分及聚类中常用的文档集 美国MIT大学Jason Rennie对Newsgroups作了必要的处理，使得每个文档只属于一个新闻组，形成Newsgroups-18828 性能比较－2 参考文献 Yang Y. An evaluation of statistical approaches to text categorization. Information Retrieval, 1999, 1-2(1): 69-90 Yang Y, and Liu X. A re-examination of text categorization methods. In Proceedings of the 22nd ACM SIGIR International Conference on Research and Development in Information Retrieval, Berkeley, US, 1999, pages: 42-49 最优分类算法 Machine Learning 是否存在最优算法？ No Free lunch Theorem ? 特征降维－降维方式 通过特征选取降维 dimensionality reduction by feature selection 选出的特征集合是原始特征集的子集 典型的有DF、IG、MI、CHI。 通过特征抽取降维 dimensionality reduction by feature extraction 选出的特征集合不是原始特征集合的子集。通常，抽取的特征与原特征不一致。 典型的有词聚类和潜在语义索引。 降维策略 局部降维 local dimensionality reduction 令原特征空间的维数为n，对每个类别ci，选择ni（ n）个（或n的pi％个，其中?0 pi 1）最能识别它的特征词作为新特征词。由所有这些新特征词构成了新的特征空间，从而达到对原特征空间的降维。 全局降维 global dimensionality reduction 选择对整个分类最有用的前n’（ n）个（或n的p％个，其中?0 p 1）特征词构成新的特征空间，从而到达对原特征空间的降维。 降维策略（续） 对于不同的降维方法，可采用的降维策略可能不同。 通过特殊处理后，特征词对特定类的重要性可以转化成特征词对整个分类的重要性。处理方法有两种： 带权均值 最大值 带权均值 不失一般性，令R(f, ci)是计算特征词对特定类的重要性的降维方法，例如R可以是MI、CHI、或OddsRatio等。 f在分类集C = {c1, c2, …, cm }下的R带权均值的计算公式如下： 最大值 f在分类集C = {c1, c2, …, cm }下的R最大值的计算公式如下： 通过特征词选取降维 DF（Document Frequency，文档频率） IG（Information Gain，信息收益） MI（Mutual Information，互信息） CHI（?2 statistic，?2-统计） TS（Term Strength，词强度） OddsRatio DF Document Frequency，文档频率 一个词的DF是文档集中有该词出现的文档的数目 DF(fi) = sum({dj | fi 在dj 中出现}) 假定 在文档集中很少使用的词汇对分类是无影响的或者影响不大 Advantage 简单，适合处理规模大的文档集 Disadvantage 可能过滤对分类非常有用的特征 IG 机器学习常用的方法 判断词项（Item）在文档中的出现与否对分类贡献大小的一个标准。 令C = {c1, c2, …, cn }代表类别集合，DC是文档集，F是DC的特征空间，f ? F，则f的信息收益IG(f)的计算如下： MI 词关联统计语言建模及相关应用中常用的准则。 考虑特征词f和类别c，MI是以f和c为变量的二元函数，其定义如下： MI（续1） 如果用A表示包含f又属于c的文档数目，B表示包含f但不属于c的文档数目，C表示不包含f但属于c的文档数目，N代表文档总数，则上述MI计算可以用下式近似计算 MI（续2） 利用条件概率公式，我们可以把MI的定义转换成如下所示的公式： 如果条件概率p(f | c)相