论文本分类中特征选择的方法.docVIP

论文本分类中特征选择的方法 　　〔摘 要〕文本分类技术在信息过滤和信息检索中有着重要应用。文本表示技术是文本分类中的首要任务，特征选择技术又是文本表示中的核心技术，对分类效果起着至关重要的作用。本文介绍了文本表示和特征选择技术的发展，并在详细分析目前各种文本表示和特征选择的方法和技术特点基础上，比较了各种方法的适用性和优缺点，最后总结出了文本表示和特征选择技术研究的方向和目标。 　　〔关键词〕文本分类；文本表示；特征选择；语义特征 　　〔中图分类号〕G20 〔文献标识码〕B 〔文章编号〕1008-0821(2009)03-0131-03 　　 　　文本分类，是将自然文本文件根据内容自动分为预先定义的一个或者几个类别的过程。它是一种有指导的学习，根据一个已经被标注的训练文档集合，找到文档特征和文档类别之间的关系模型，然后利用这种学习到的关系模型对未被标注的文档进行类别判断。文本分类作为信息过滤、信息检索、文本数据库、数字化图书馆和邮件分类等领域的技术基础，有着广泛的应用前景[1-2]。 　　在文本分类中，一般来说，把文本表示为向量形式，其训练文本集中的特征项可能多达数万个，这些特征中的任何一个都对实现正确的分类有着它的贡献。但是，在这些大量的特征中肯定还包含着许多彼此相关的特征，这些相关的特征是冗余的，是可以去除的。过大的特征空间会导致样本统计特性的评估变得更加困难，从而降低分类器的泛化能力，出现“过学习”的现象。而且这种高维向量的处理具有极高的计算复杂度，尤其是会产生所谓的“维数灾难”问题。因此，如何保留对分类器有重要贡献的特征，去除冗余的特征，以减少特征总数，即如何进行维数约简，已成为一个日益重要的研究领域。 　　 　　1 文本表示 　　 　　1.1 文本表示技术 　　文本表示是指用简单而准确的方法将文档表示成计算机能够处理的形式，中文文本信息多数是无结构化的，并且使用自然语言，很难被计算机处理。因此，如何准确地表示中文文本是影响分类性能的主要因素。现有的用于文本分类的文本表示模型主要包括:布尔模型、概率模型、向量空间模型[3]。 　　1.1.1 布尔模型 　　布尔模型是基于特征项的严格匹配模型。首先，建立一个二值变量的集合，这些变量对应于文本的特征项。文本用这些特征变量来表示，如果出现相应的特征项，特征变量取“True”，否则取“False”，文本的匹配规则遵循布尔运算的法则。 　　该模型的主要优点是:速度快；易于表达一定程度的结构化信息，如同义关系或词组。其缺点是:把布尔模型作为文本的表示很不精确，不能反映特征项对于文本的重要性，缺乏定量的分析；过于严格，缺乏灵活性，更谈不上模糊匹配，这样对于特征不明显的文本就无法处理。 　　1.1.2 概率模型 　　文本分类的概率模型是基于概率排序原则，对于给定类别特征，对所有文本计算概率，并从大到小进行排序，概率公式为P(R|D，Q)。其中，R表示文本D与类别特征Q相关。另外，用R′表示文本D与类别特征Q不相关。在该模型中，文本向量只采用简单的二值形式，没有利用文本中的更多信息，比如特征在文本中出现的频率。在该模型的基础上，扩展出许多模型，如Fuhr模型和Croft模型。Fuhr提出了概率索引模型，没有更多的参数估计问题，对文本的表示也更加详细。Croft模型体现了面向描述的这种索引思想。 　　概率相关模型的优点在于体现了文本信息相关性判断的不确定性和信息表示的模糊性，但这种模型对所处理的文本集依赖过强，而且处理问题过于简单。 　　1.1.3 向量空间模型(VSM) 　　VSM是近年来应用最多且效果较好的文本表示方法之一，向量空间模型把文本表示成n维欧式空间的向量，把文本中的特征词看作空间中一个向量，每一向量的坐标分量是此特征词在对应类别中的权重。 　　向量空间模型的优点在于:只需要通过简单的频数统计就可以在一定程度上表示出文本中蕴涵的语义信息。但是在该模型中，文本向量空间被看作是由一组正交词条向量所组成的向量空间，而这种方法的假设前提是:词与词之间没有语义联系。但现实文本中的用词往往是有关联的，比如同义词、上下位关系等，即存在“斜交”现象，很难满足假设前提，因此对计算结果的可靠性造成一定的影响。使用该模型处理海量文本信息必将带来两个问题:一是表示文本的特征向量维数过高；二是各个特征所包含的语义信息过于具体，特征之间的语义关联被忽略。 　　1.2 语义表示模型 　　由于以上模型先天的缺陷，缺少对文档主题思想和语义的分析，目前，已出现了将语义信息应用到文本分类方面的方法。如:Koller和Sahami[4]提出了利用层次化主题结构将分类的任务分解成若干个子任务，再完成各个子任务，达到分类的目的，因为子任务的训练文本集合一般较小，这样自然就避