浅谈基于VSM非结构化中文文本分类方法.pdfVIP

南京师大学报(社会科学版) of Normal 2011年11月 JournalNanjing University(SocialScience) 学术论坛文集 浅谈基于VSM的非结构化中文文本分类方法 尚振辉，孙会 (南京师范大学教育技术学系，江苏南京210097) 摘要：阐述了基于空间向量模型的分类方法，包括VSM的产生和发展及其内在原理，利用 VSM进行分类的基本过程以及影响分类准确率的一些因素。 关键词：空间向量模型；VSM；分类；特征提取；训练 得高昂和难以实现，在这种情况下，人们就迫切地 l 引言 需要实现文本操作的自动化，而文本操作自动化的 目前大多数信息都是以非结构化的形式存储 首要解决的问题就是要用计算机可以理解的方式来 的，这给信息的检索和查询带来了极大的不便。随 表征文本数据。为了解决这个问题，有学者提出了 着信息技术的发展，文本数据的挖掘逐渐成为数据 用向量来表示文本。 挖掘的一个重要研究领域。文本挖掘是一个较为宽 2．1 VSM的产生与发展 泛的概念，其典型的方法主要有文本分类、文本聚 空间向量模型由Salton等人于20世纪70年代 类、文本总结、信息提取等。 提出，并成功地应用于著名的SMART检索系统。 计算机科学中的文本分类是指按照一定的标 过去的40多年中，许多关于信息检索的研究工作 准．计算机自动地将未知类别的文档映射到之前制 都是围绕着向量空间模型展开的。 定的类别体系中的某一类别的过程。文本分类在主 尽管向量空间法最初是用于信息检索，它也被 题搜索引擎开发，方便用户查找文档等方面有着重 广泛地用于许多分类系统。此时每个类用一个中心 要的作用。目前，YAHOO已实现用文本自动分类向量(Centroid)代表。分类时通过检查待分类文档 技术对Web文档进行自动分类，这大大提高了效 和这些中心向量的相似度，把它分到最相似的中心 率。随着文本分类技术的发展，多种不同的分类算 向量所代表的类中。 法相继被提出并应用于实践。这些算法的典型代表 2．2 VSM的应用现状 主要有：空间向量模型、简单贝叶斯分类法、矩阵变 向量空间模型已经被广泛地应用于文本分类系 换法、K最近邻参照分类算法，支持向量机等。其 统当中。基于VSM的文本自动分类系统的准确率 中，空间向量模型出现的较早，并且现在仍在广泛 能够达到95％以上。在实际应用的过程中。空间向 应用。本文将重点就基于空间向量模型的文本分类 量模型通常与'IF．IDF权重计算公式或者其变形相 方法进行探讨。 结合，通过计算出具有代表性的词条的权重来表征 文档。 2 VSM的产生背景及其发展 由于操作简单，易于理解，分类效果好，需要 空间向量模型的的产生和发展有着深刻的社会 的投入较少等优势，空间向量模型方法在文本分类 背景。20世纪70年代末，随着互联网的出现和发的研究和应用中的非常广泛。表l列出了经典分类 展，人类的数据交互和数据存储的数量呈几何级增 算法在谷歌和百度中能够搜索出的结果数目(搜索 长。这种增长使得人工处理文本数据的成本日益变 时间：2011年9月28日17：50)。 表1典型分类算法搜索结果统计表 搜；爵黍竺， 空间向量模型 K最近邻参照分类算法 支持向