基于共现词对的文档表示方法研究.pdfVIP

第29卷第4期 阜阳师范学院学报(自然科学版) Vo1．29．No．4 2012年 l2月 JournalofFuyangTeachersCollege(NaturalScience) Dec．2O12 基于共现词对的文档表示方法研究 史 科 ，宣国庆 (1．安徽广播电视大学省直分校，安徽 合肥 230001；2．合肥市庐阳中学 ，安徽 合肥 230041) 摘 要：提 出一种新的文档表示模型——基5-~E#J对的向量空间模型。模型以文档中共现的词对为基本考察对象， 通过统计学特征选择有代表性的词对来表示文档。基于覆盖算法的文本分类实验表明此模型有较强的文档表示效果，为 文本 自动化处理提供 了一条新思路 。 关键词：共现词对；文档表示；向量空间模型；特征选择 中图分类号：TP391．1 文献标识码 ：A 文章编号：1004-4329(2012)04-060-04 Research ondocumentrepresentati0nbasedon wordCO．occurrencemodel SHIKe ，XUAN Guo—qing (1．ShengzhiBranchSchoolofAnhuiOpenUniversity，HefeiAnhui230001，China； 2．He ． feiLuyangMiddleSchool，HefeiAnhui230041，China) Abstract：Anewdocumentrepresentationmodel，avectorspacemodelbasedonwordCO—occurrence(VSMBWC)ispresen tedinthisarticle，whichusestheco—occurringwordpalrsasthebasicinspectionobject，andselectstypicalwordpairstorepresent documentinstatisticalmethod．Thetextclassificationexperimentsbasedoncrosscoveralgorithm show thatthismodelisbetterin documentrepresentation，andprovideanew wayofthinkingfortextautomaticprocessing． Keywords：wordCO—occurrence；documentrepresentation；VSM；featureselection 文本是信息的载体，现今社会信息呈爆炸化， Text)等。很多文献对于上述的选择方法进行了比 海量的信息充斥f网络，如何 自动化的对其进行归 较 ，通常情况下认为信息增益、互信息以及 x2 类、检索则表现的越来越重要。怎样在算法里表述 (CHI)效果要相对较好。 文档，是整个研究的基础，目前广泛使用的是向量 但由于VSM的考查是 以词为基础，单个的词 空间模型 (VectorSpaceModel，VSM)…。VSM 以 往往不能表述完整的意思，人类通常使用连续的词 词为基本考察单位，以词的出现频率 (或以词频为 组来表述完整的意图。在此思路下我们考虑到_『 基础的改进方法)为度量方法来描述文档。模型简 能否使用词组来表述文档 。综合考量多种方法后， 单，容易实现，在文本分类、检索等相关领域已经获 我们认为以一对词(2个)为基本单位相对合适，由 得广泛应用，也取得了不错的实验结果。文本分类 此引人词共现模型 。共现模型是一种统计方法 中经常使用的特征词选择方法有文档频率(Docu— 的自然语言处理研究领域的重要模型。词共现模 mentFrequency)、信息增益 (InformationGain) 、 型最早是应用于信息检索领域，它是基于这样的一