一种基于词上下文向量的文本自动分类方法.pdfVIP

维普资讯 第26卷第7期 情 报 科 学 V01．26．No．7 2008 2008年 7月 ， 一 种基于词上下文 向量的文本 自动分类方法 郭少友 (郑州大学 信息管理系，河南 郑州 450001) 摘 要：分析了传统文本 自动分类方法的不足、词上下文向量的含义及其在 自动分类中的作用， 提 出了一种基于词上下文向量的文本 自动分类方法 ，该方法利用词上下文向量来生成分类器的类 别中心向量和待分类文本的文本向量，使分类质量有所提高。 关键词：自动分类；上下文；词上下文向量；分类器；文本表示 中图分类号：TP391．1 文献标识码：A 文章编号：1007一7634(2008)07—1030—05 A TextAutomaticClassificationM ethodBasedonTerm Context Vectors GUOShao——you (DepartmentofInformationManagement， 啦 University，Zhenazhou，450001，China) Abstract：Thispaperanalyzedtheshortcomingoftraditionaltextclassificationmethods，htemeaningofterm contextvectorsanditseffcetintextautomaticclassification。Anautomaticclassificationmehtodbasedontemr contextvectorswas presented，whichcouldimprovehteclassificationqualitybygeneratingclasscentriod Vce— tors ofaclassifiernadhtetextvectorofhtetexttobeclassfiied。 Keywords：automa ticclassfiication；context；temr contextvector；classfiier；textrepresentation 文本 自动分类是一个根据文本的内容 自动确 根据该向量对文本进行分类。由于这种分类方法忽 定文本类别的过程 。由于很多文本都没有固定的结 略了词语之间的相互关系，所构建的文本向量往往 构，甚至根本没有结构，而且文本的内容大都是用 并不能很好地反映原文本的主题内容。有学者提出 自然语言来描述，文本 自动分类系统无法直接理解 了基 于潜 在语义索 引 (LatentSemanticIndexing， 其语义并进行分类，所 以需要对文本进行预处理， LSI)的分类方法，该方法虽然能在经过降维的文 提取能表达文本主题 内容的关键词，并将这些关键 本向量中包含词语之间的潜在语义关系，但在这种 词用结构化的形式保存起来，形成文本的表示，以 分类方法中，一些对分类贡献大的特征，由于其对 便文本 自动分类系统能根据文本的表示而不是原文 应的特征值小而被滤掉，从而影响分类效果 2【】。还 本来确定文本所属的类别 。 有学者提出了基于词语上下文关系的 自动分类方 可用于 自动分类的文本表示模型有多种，向量 法 ，该方法用一个词语在某个训练集中的上下文 空间模型 (VectorSpaceModel， M