基于实例文本自动分类技术研究与实现.docVIP

基于实例文本自动分类技术研究与实现 　　（中国移动集团吉林有限公司 吉林 长春130021） 　　 　　中图分类号： TP文献标识码：A 文章编号：1007-0745（2008）11-00 　　 　　第一章 绪论 　　 　　1.1文本分类概述 　　随着网络的迅猛发展，网络上的网页，电子邮件，数据库，聊天室和数字图书馆等电子文本以几何级数不断增长，处理这些海量数据的一个重要方法就是将它们分类。 　　自动文本分类中应用较早的机器学习方法是纯粹贝叶斯(NaiveBayes，简称NB)。大量其它机器学习的技术也被用于文本分类，如支持向量机(Support Vector Machine，SVM)，最大熵算法(Maximum Entropy)，神经网络(Neural Nets)和规则学习算法，k近邻算法(k Nearest Neighbor，kNN)等。一些数据表明k近邻算法和支持向量机算法在充足的训练样本的情况下性能较好。 　　现代搜索引擎需要解决的文本分类问题是加入未标识集合作为训练集，得到分类器，将多类分类问题转化为二类分类问题，如何在只有正例集合，没有反类集合的情况下，得到较为准确的分类器，是文本分类的关键问题。 　　1.2相关工作 　　文本分类算法是有监督学习的算法，它需要有一个已经手工分好类的训练文档集，文档的类别己标识，在这个训练集上构造分类器，然后对新的文档分类。如果训练集的类别未标识，就是无监督的学习算法，无监督学习算法从数据集中找出存在的类别或者聚集。 　　常用的文本分类算法主要包括三大类。第一类是基于标准的Rocchio分类算法的TF-IDF方法，其基本思想是利用TF-IDF权重公式计算一个词在文档中的重要性，然后用cosine距离计算两个词向量的相似度；第二类方法则是基于概率和信息理论的分类器，如纯粹贝叶斯算法，最大熵算法等；第三类是基于知识学习的方法，如决策树(Decision Tree)C4.5等算法。 　　为了解决PU二类分类问题，即加入未标识文本集合作为训练集的一部分，进行分类，本文提出了改进的S-IkNFL算法，实验证明，S-IkNFL算法的效果要比S-EM算法好。 　　第二章 S-IkNFL算法 　　2.1引言 　　传统搜索引擎的动作通常是以给出的一个查询词为基础，最终得到与查询词相关的网页，如Yahoo等搜索引擎。“具有增量特性的移动式主体爬行技术”研究对象是面向主题的新一代搜索引擎，研究的目标是在给出正例网页（或正例网页集合），最终得到与正例网页相关的网页集合。这样，在普通文本分类中的多类分类（Multi-class Classification）问题，被转化为两类分类（Two-class Classification）问题或简称PU问题。分类的训练集合由正例集合（Positive简称P）、未标识集合（Unlabeled简称U）组成。 　　与普通多类问题不同，PU问题中P的规模通常相当小，扩大正例集合也比较困难；而U的规模通常比较大，相比之下未标识的网页资源可以非常廉价、方便的从网络中获取。引入U的目的就是降低人工分类的预备工作量，同时提高精度，尽可能达到自动分类的效果。 　　2.2相关工作 　　PU问题的解决通常分为两步： 　　＊步骤1：从未标识集合中确定一个可靠的反例集合（Reliable negative examples，简称RN），从而将PU问题转化为二类分类问题。 　　＊步骤2：通过迭代使用某种分类算法并挑选出较好的一代，建立一个分类器。 　　 　　在第一步中，S-EM算法采用的是SPY技术，PEBL算法采用的是1-DNF技术，Roc-SVM采用的是Rocchio算法。在第二步中，S-EM算法采用的是EM算法，PEBL算法和Roc-SVM采用的是SVM算法。 　　这两个步骤通常这样理解：算法本身是通过迭代，从而扩大从未标识集合中划分出来的正例集合和反例集合，同时保持对原有正例的正确划分。 　　2.3 S-IkNFL算法的实现 　　2.3.1 SPY技术 　　S-EM算法在解决PU分类问题的第一步中采用了SPY技术，该技术虽然同样采用概率模型，但是相对的更能体现出正例集的特点，能更好的适应PU问题。 　　SPY技术的基本思想就是将正例集P划分出一个子集S，将S中的文档放到未标识文档集U中，从而得到新的正例集Ps和未标识文档集Us，然后用迭代的EM算法进行分类，当分类结束后，利用对那些“间谍”的标识，确定一个参数th，再对未标识文档集U中的文档进行划分，得到可靠反例集RN。其中划分出的子集S在P中的比例是一个重要参数，在S-EM算法中采用的是15%，即S/P=15%。 　　2.3.2 迭代的kNFL算法---IkNFL算法