一种短文本特征词提取的方法.pdfVIP

第３１卷第６期　　　 计算机应用与软件 Ｖｏｌ３１Ｎｏ．６ ２０１４年６月　　 ＣｏｍｐｕｔｅｒＡｐｐｌｉｃａｔｉｏｎｓａｎｄＳｏｆｔｗａｒｅ Ｊｕｎ．２０１４ 一种短文本特征词提取的方法 程传鹏　苏安婕 （中原工学院计算机学院　河南郑州４５０００７） 摘　要　　针对短文本的特点，提出一种自动识别短文本特征词的方法。根据短文本中的名词或动词之间语义相似度构造图的邻 接矩阵，在图的邻接矩阵基础上提出一种候选特征词的特征度计算方法，选择特征度较大的一些词作为特征词。实验结果表明，所 提出的特征提取方法较传统的特征提取方法更适合短文本的分类。 关键词　　短文本　特征提取　连接强度　邻接矩阵　特征度 中图分类号　ＴＰ３９１．１　　　　文献标识码　Ａ　　　　ＤＯＩ：１０．３９６９／ｊ．ｉｓｓｎ．１０００３８６ｘ．２０１４．０６．０４４ ＡＳＨＯＲＴＴＥＸＴＦＥＡＴＵＲＥＷＯＲＤＥＸＴＲＡＣＴＩＯＮＭＥＴＨＯＤ ＣｈｅｎｇＣｈｕａｎｐｅｎｇ　ＳｕＡｎｊｉｅ （ＳｃｈｏｏｌｏｆＣｏｍｐｕｔｅｒＳｃｉｅｎｃｅ，ＺｈｏｎｇｙｕａｎＩｎｓｔｉｔｕｔｅｏｆＴｅｃｈｎｏｌｏｇｙ，Ｚｈｅｎｇｚｈｏｕ４５０００７，Ｈｅｎａｎ，Ｃｈｉｎａ） Ａｂｓｔｒａｃｔ　　Ｉｎｖｉｅｗｏｆｔｈｅｃｈａｒａｃｔｅｒｉｓｔｉｃｓｏｆｓｈｏｒｔｔｅｘｔ，ｔｈｅｐａｐｅｒｐｒｏｐｏｓｅｓａｍｅｔｈｏｄｔｏａｕｔｏｍａｔｉｃａｌｌｙｒｅｃｏｇｎｉｚｅｓｈｏｒｔｔｅｘｔｆｅａｔｕｒｅｗｏｒｄｓ． Ａｃｃｏｒｄｉｎｇｔｏａｄｊａｃｅｎｔｍａｔｒｉｘｏｆｓｅｍａｎｔｉｃｓｉｍｉｌａｒｉｔｙｓｔｒｕｃｔｕｒａｌｇｒａｐｈｂｅｔｗｅｅｎｎｏｕｎｓｏｒｖｅｒｂｓｆｒｏｍｓｈｏｒｔｔｅｘｔ，ｏｎｔｈｅｂａｓｉｓｏｆｇｒａｐｈ’ｓａｄｊａｃｅｎｔ ｍａｔｒｉｘ，ｔｈｅｐａｐｅｒｐｒｏｐｏｓｅｓａｆｅａｔｕｒｅｄｅｇｒｅｅｃａｌｃｕｌａｔｉｏｎｍｅｔｈｏｄｆｏｒｃａｎｄｉｄａｔｅｆｅａｔｕｒｅｗｏｒｄｓ，ｗｈｉｃｈｓｅｌｅｃｔｓｗｏｒｄｓｏｆｇｒｅａｔｅｒｆｅａｔｕｒｅｄｅｇｒｅｅｓａｓ ｆｅａｔｕｒｅｗｏｒｄｓ．Ｅｘｐｅｒｉｍｅｎｔｒｅｓｕｌｔｓｓｈｏｗｔｈａｔｔｈｅｐｒｏｐｏｓｅｄｆｅａｔｕｒｅｅｘｔｒａｃｔｉｏｎｍｅｔｈｏｄｉｓｍｏｒｅｓｕｉｔａｂｌｅｆｏｒｓｈｏｒｔｔｅｘｔｃｌａｓｓｉｆｉｃａｔｉｏｎｃｏｍｐａｒｅｄｔｏ ｔｒａｄｉｔｉｏｎａｌｆｅａｔｕｒｅｅｘｔｒａｃｔｉｏｎｍｅｔｈｏｄｓ． Ｋｅｙｗｏｒｄｓ　　Ｓｈｏｒｔｔｅｘｔ　Ｆｅａｔｕｒｅｅｘｔｒａｃｔｉｏｎ　Ａｄｊａｃｅｎｔｓｔｒｅｎｇｔｈ　Ａｄｊａｃｅｎｔｍａｔｒｉｘ　Ｆｅａｔｕｒｅｄｅｇｒｅｅ 类文本中并不稀有，也可能包含着重要的判断信息，假如简单舍 ０　引　言 弃可能影响分类器的精度。 １．２　信息增益 在文档分类中，通过分词后的文档词汇数量是相当大的，原 信息增益从信息论角度出发，根据词条所获信息增益的多 始的特征空间可能由出现在文章中的全部词条构成。而中文的 ［４］ 少，来选择相应的特征词 ，对于词条ｗ和文档类别Ｃ，信息增 词条总数有二十多万条，这样高维的特征空间对于几乎所有的 益考察类别Ｃ中出现和不出现词语ｗ的文档频数来衡量词语ｗ 分类算法来说都偏大［１］。为了提高分类的效率和精度，在分类 对于类别Ｃ的信息增益。采用如下的定义式： 之前务必要进行特征抽取来剔除那些表现力不强的词汇。在中