基于语义关联的文本分类研究.pdfVIP

第34卷 第 1O期 舍肥 工业 大 学学报 (自然科学版) Vo1．34No．10 2011年 lO月 JOURNALOFHEFEIUNIVERSITYOFTECHNOLOGY Oct．2011 Doi：10．3969／j．issn．1003—5060．2011．10．014 基于语义关联的文本分类研究 张 浩h ， 谢 飞。 (1．合肥工业大学计算机与信息学院，安徽 合肥 230009；2．皖南医学院基础医学部，安徽 芜湖 241000；3．合肥师范学院计算机科 学与技术系，安徽 合肥 230601) 摘 要：传统的文本表示是在向量空间模型的基础上 ，采用特征选择方法降低文本的维数 ，这种方法认为文本 中词语是相互独立的，没有考虑彼此之间的语义信息。文章提出一种新 的基于语义特征选择的文本分类方 法 ，在已有特征选择的基础上，利用词语之间的语义关联性，将那些与已选择的词语具有密切联系的词语加入 词语特征空间。实验表明，该方法与已有的特征选择方法比较 ，提高了文本分类的精度。 关键词 ：文本分类；向量空间模型；特征选择；语义关联 中图分类号：TP391 文献标识码 ：A 文章编号：1003—5060(2011)10—1501—04 Textcategorizationbasedon semanticrelatedness ZHANG Hao一， XIE Fei。 (1．SchoolofComputerandInformation，HefeiUniversityofTechnology，Hefei230009，China；2．Dept．ofBasicMedicine，Wannan M edicalCollege，Wuhu241000，China；3．Dept．ofCo mputerScienceandTechnology，HefeiNormalUniversity，Hefei230601，China) Abstract：Traditionaltextrepresentation iSbasedonthevectorspacemode1thatusesthemethodof featureselectiontoreducethedimensionofthefeaturespace．Thewordsinthetextareconsideredto bemutuallyindependentwithoutanysemanticinformationbetweenthem．Inthispaper，anew meth— odoftextcategorizationisproposedbasedonsemanticfeatureselection．Basedonthetraditionalfea— tureselectionandconsidering thesemanticrelatednessbetween thewords，thosewordsthathave strongsemanticrelatednesswiththetraditionallyselectedonesarealsoaddedintothefeaturespace． Theexperimentalresultsshow thatcomparedwiththetraditionalmethodsoffeatureselection．the proposedmethodinthepaperimprovestheprecisionoftextcategorization． Keywords：textcategorization；vectorspacemode1；featureselection；semanticrelatedness 理的一个重要的问题，主要应用于信息检索、自动 0 引 言 文摘、信息过滤、邮件分类等。 随着信息技术和互联网的飞速发展，人们可 文本分类中一个重要的问题是特征选择，通 以获得越来越多的电