基于语义扩展的中文短文本分类方法.docVIP

  基于语义扩展的中文短文本分类方法 曹叶盛，王小捷，袁彩霞** （北京邮电大学计算机学院，北京 100876） 5 10 15 20 25 30 35 40 摘要：基于特征扩展的中文短文本分类方法虽然可以有效缓解向量空间模型 VSM(Vector Space Model)的高稀疏性问题,但在扩展时不可避免地引入了噪音。针对这一问题, 本文提出 基于语义扩展的方法(Feature Semantic Extension,简称：FSE 方法)。首先通过关联规则 （Association Rules,AR）的类别相似性创建高质量关联规则库（High-quality Feature Extension Mode Library）,针对短文本所具有的语义完整性和内容一致性特点,通过比较待引入词与待 测文档之间的相关程度,判断是否将待引入词扩展到文本中,从而降低了引入噪音的风险。经 试验证明,本文提出的方法比以往的方法在分类性能上有所提高。 关键词：短文本分类；关联规则挖掘；类别相似度计算；特征扩展 中图分类号：TP311 Semantic extension to Chinese short-text classification Cao Yesheng, Wang Xiaojie, Yuan Caixia (Computer Science School, Beijing University of Posts and Telecommunications,Beijing 100876) Abstract: The Chinese short-text classification considering feature extension can ease the problem of the high sparse in the vector space model(VSM),but feature extension inevitably introduces noise.To solve this problem,this paper presents a method based on semantic extension(FSE).Using class property of the association rules, a high-quality feature extension mode library can be created. Because short texts have semantic integrity and content consistency,measuring relevance of a word and a text can void introducing noise to some extent.Results show that the proposed method can get a better classification performance than the previous method. Key words: Text classification; Association rules; Category similarity calculation; Feature extension 0 引言 SMS、微博、即时消息（Instant Message, IM）和在线聊天室（Internet Relay Chat,IRC） 等交流方式越来越受到青睐。即时消息和微博等交互方式的最大特点就是文本篇幅较短,通 常在 80 字以内[1],包含的有效信息较少且内容相对单一。同时,它们中包含的垃圾广告、暴力、 反动、色情等非法信息也成为社会安定的一大隐患。短文本分类技术对于更好地检测、过滤 短文本中的不良信息有着十分重要的意义。 传统的文本分类技术有支持向量机（SVM）、朴素贝叶斯（NB）、K-最近邻分类（KNN）、 神经网络（ANNs）等,这些文本分类方法在长文本上的分类性能已经得到了很好的验证和应 用。但是短文本与长文本相比,在文本处理和分类技术上存在着以下的不同： 一方面,短文本篇幅较短,包含的词条个数较少,进而词切分带来的错误对短文本分类的 影响变得更为明显。另一方面,短文本特征词少导致了短文本的类别表征能力较弱,短文本在 使用 VSM 做文本表征时的高维度高稀疏性使得分类性能下降。 由上述分析可见,通过改进短文本的文本表征方式和增加短文本的特征词数目可以提升 短文本在传统分类器上的分类性能。本文从短文本的文本表征和特征扩展策略两个问题入手, 提出基于语义扩展的短文本分类技术。 作者简介：曹叶盛(1986-),男,硕士,主要研究方向：自然语言处理 通信