类别特征词权重加权文本分类方法.docVIP

文章编号：1009-8119（2006）03-0038-02 类别特征词权重加权文本分类方法 万乐 刘万春 （北京理工大学计算机科学工程系， 北京 100081） 摘 要 提出了一种针对小训练集环境的文本自动分类方法。在传统自动训练过程中通过训练集为每个类别建立初步类别特征向量，由于初步类别特征向量是在小训练集基础上建立的，含有的类别特征信息不够充分。在初步类别特征向量基础上，标定了一定数量的一级和二级类别核心特征词，在文本/类别相似度计算中，利用自动训练过程得到的核心特征词权重因子对核心特征词权重加权，以提高类别特征向量中类别特征信息的含量。实验结果显示这种分类方法自动分类重合率达到94.12%以上，与不进行权重加权方法的52.94%相比，有很大提高。 关键词 文本分类，特征抽取，核心特征词，权重因子 Text Classification Method Based on Class Feature Word Quadric Weight Wan Le Liu Wanchun （Department of Computer Science and Engineering， Beijing Institute of Technology， Beijing 100081 ） Abstract A text classification method for small training set is provided. Initial feature vector extracted by traditional automatic training is lack of plenty feature information. In order to enrich the feature information in feature vectors, this paper proposes a retraining method. In this method, some first-degree and second-degree class core feature words are picked out from the initial feature vectors. By the second automatic training, a weight factors for each degree can be obtained. Such factors are used as the weight of the weight of core feature words while measuring text/class similarity. In illustrations, the minimum coincidence rate of automatic classification accuracy in our method is 94.12%, which is greatly improved from 52.94% in the traditional method. Keywords Text classification，Feature extraction， Core feature word，Weight factor 1 引 言 基于统计学文本分类方法的研究重点是文本特征抽取和选择[1]。比较成熟的特征抽取方法有互信息（Mutual Information）,期望交叉熵（Cross Entropy），文本证据权（The Weight Of Evidence For Text）[2]等。这些方法，一般都需要上千篇的大训练集，且在此训练集基础上建立起了超高维特征向量（几千甚至上万维）。这样一方面庞大的训练集增加了训练过程代价；另一方面，由于特征向量维度太高，使得后期分类过程速度过慢。而且在大训练集和高维特征向量的前提下这些方法也并未取得良好的分类效果。主要原因在于，训练过程中建立的高维度特征向量含有很多虚假信息『4』，这无疑增加了分类器在类别判断时的难度。根据手工标定文本类别的经验，我们知道，在几千甚至上万个词组成的文本中，真正对判别文本类别起到决定作用的仅仅只有几个或是十几个词，这些词为类别核心特征词。本文基于标定类别核心特征词的思想，提出了一种类别特征词权重加权文本分类方法。此方法在抽取类别特征词的基础上进一步标定类别核心特征词，并且利用训练得到的核心特征词权重加权因子对核心特征词权重进行加权，进而丰富了类别特征向量的类别特征信息含量，提高了分类器性能。 2 类别特征向量的建立 类别特征向量建立的关键在于从属于这一类别的文本集中选择和抽取能表征这一类别的类