基于关键词组合向量模型的文本自动分类研究的论文.docVIP

　　基于关键词组合向量模型的文本自动分类研究的论文 　[摘 要] 本文描述了一种新的基于关键词组合模式的文本向量空间表示模型，相对于只使用文本中词语的频率的文本向量空间模型，这种新的模型在可以计算的前提下，使用了词语之间的相对位置信息，从而可以解决部分词语向量空间模型表示的不足。本文讨论了使用这种模型的自动文本分类系统，包括分类系统的结构、特征提取、文本相似度计算公式，并给出了评估方法。 　　[关键词] 关键词组合 向量空间 自动分类 分类算法 　　 　　近年来，以文本格式存储的海量信息出现在inter、数字化图书馆及公司的intra上，如何从这些浩瀚的文本中发现有价值的信息是信息处理领域的重要目标，而文本自动分类系统能够在给定的分类模型下，根据文本的内容自动对文本分门别类，从而更好地帮助人们组织及挖掘文本信息，因此得到日益广泛的关注，成为信息处理领域最重要的研究方向之一。 　　一、自动分类的种类和作用 　　自动分类就是用计算机系统代替人工对文献等对象进行分类，一般包括自动聚类和自动归类。自动聚类和自动归类的主要区别就是自动聚类不需要事先定义好分类体系，而自动归类则需要确定好类别体系，并且要为每个类别提供一批预先分好的对象作为训练文集，分类系统先通过训练文集学习分类知识，在实际分类时，再根据学习到的分类知识为需要分类的文献确定一个或者多个类别。本文中所指的自动分类是指对网页的自动分类，包括网页的自动归类和自动聚类。 　　目前搜索引擎提供两种信息查询方式:分类浏览和关键词检索。分类浏览一般是基于网站分类目录。.关键词检索的对象不是网站，而是符合条件的网页。关键词检索信息量大、更新及时、不需要人工干预。 　　二、问题描述 　　1.系统任务 　　简单地说，文本分类系统的任务是：在给定的分类体系下，根据文本的内容自动地确定文本关联的类别。从数学角度来看，文本分类是一个映射的过程，它将未标明类别的文本映射到已有的类别中，该映射可以是一一映射，也可以是一对多的映射，因为通常一篇文本可以同多个类别相关联。用数学公式表示如下： 　　 　　文本分类的映射规则是系统根据已经掌握的每类若干样本的数据信息,总结出分类的规律性而建立的判别公式和判别规则。然后在遇到新文本时,根据总结出的判别规则,确定文本相关的类别。 　　2.评估方法 　　我们使用评估文本分类系统的两个指标：准确率和查全率。准确率是所有判断的文本中与人工分类结果吻合的文本所占的比率。其数学公式表示如下： ;查全率是人工分类结果应有的文本中分类系统吻合的文本所占的比率，其数学公式表示如下： ;准确率和查全率反映了分类质量的两个不同方面，两者必须综合考虑，不可偏废。 　　3.词语向量空间模型的文本表示 　　目前，在信息处理方向上,文本的表示主要采用向量空间模型 (vsm)。向量空间模型的基本思想是以向量来表示文本:（为特征向量的维数，为特征向量的维数，ation gain)，df (document frequency)，χ2-statistic等特征词选取算法；还有一种是从现有词条中抽提和构造可以表达文档的隐含语义的特征，作为向量空间的维度，如隐含语义检索（latent semantic indexing, lsi）。lsi的核心操作是对词条文档矩阵进行截断的svd （singular value deposition）分解，从而可以得到原词条文档矩阵在最小二???意义上的最好近似。lsi可以在降维的同时，抽取文档的隐含语义，使得生成的文档向量可以较好地表达文档的语义。词条的权重算法对lsi的效果有一定的影响，据分析，联合使用平方根对数（square root-log，局部权重）－熵（entropy，全局权重）－余弦标准化（cosine normalization，归一化参数）来计算词条权重的效果比较好。