基于降维的短信文本语义分类及主题提取[J].pdfVIP

Computer Engineering and Applications 计算机工程与应用 2010 ，46 （23 ） 159 基于降维的短信文本语义分类及主题提取 刘金岭 LIU Jin-ling 淮阴工学院 计算机工程系，江苏 淮安 223003 Huaiyin Institute of Technology ，Huai ’an ，Jiangsu 223003 ，China E-mail ：liujinlingg@ 126.com LIU Jin-ling.Dimensionality reduction of short message text classification and thematic extraction of semantic.Comput- er Engineering and Applications ，2010 ，46 （23 ）：159-161. Abstract ：In order to predict Chinese short message opinion quickly ，the short message text dimensionality reduction is ob- tained by using synonymous terms and the upper and lower merge ，and then the mass short message classification algorithm for the extraction and classification of the subject is given.Test shows that the method can greatly improve the public opin- ion of the speed and quality of forecasts. Key words ：classification ；short message text ；dimensionality reduction ；theme 摘 要：为了对中文短信文本进行快速的舆情预测，利用对同义关系词汇归并和上下位词汇聚焦以及种子词汇的确定来实现对 短信文本空间的降维，而后又给出了海量短信文本分类的算法及分类主题的提取。实验表明该方法可以大大提高舆情预测的速 度和质量。 关键词：分类；短信文本；降维；主题 DOI ：10.3778/j.issn. 1002-8331.2010.23.045 文章编号：1002-8331（2010 ）23-0159-03 文献标识码：Ａ 中图分类号：TP311 短信的使用己渗透到社会的各个领域，与此同时，通过短 语义项选取，词语的词性信息和上下文信息，而是简单地选取 信传播非法、色情，以及垃圾信息的现象也随之增多，且其带 词语义项中的最大的相似度作为词汇的语义相似度。这样会 来的损失也在不断地增大。因此，进行海量短信信息的研究 导致词汇的语义相似度与词汇在文本中真正的语义相似度不 分析，建立有效、准确的舆情预测模式，就显得十分重要。短 一致的情形发生，在降维过程中会降低文本分类的质量。基 信具有其自身的特点：（1）长度比较短，通常出现的是不会超 于此，针对短信文本的特点，利用文献[5]基于义原给出的词汇 过140个字符的短信用语；（2 ）频繁使用网络语言以及缩略语； 和短信文本相似度的概念，给定一个阈值，将群发、转发和频 （3）由于群发，转发，下载短信行为频繁，短信库中存在大量的 繁下载（内容略改）用一个样本数据代替；由于短信息比较短， 重复短信。因此，基于短信的文本分类必须面对这些特点，开 又频繁使用网络语言以及缩略语，结合自然语言处理（NLP ）的 发适应性技术。现有的文本分类方法主要有支持向量机 知识，考虑词语在文本中的词性信息，根据概念间的相互关 （SVM）、K 最近邻（KNN ）、决策树、线性最小二乘法估计 系，对同义概念进行语义归并，对上下位概念进行语义聚焦及 （LLSF ）和贝叶斯分类算法（Bayes ）等。VSM （Vect