基于概念词的特征提取方法.PDFVIP

第３４卷 第１期 世界科技研究与发展 Ｖｏｌ．３４ Ｎｏ．１ 　 　 ２０１２年２月 １１９－１２２页 ＷＯＲＬＤＳＣＩＴＥＣＨＲ＆Ｄ Ｆｅｂ．２０１２ ｐｐ．１１９－１２２ 基于概念词的特征提取方法  何　杰　朱征宇 　董曙佳　于春雷 （重庆大学计算机学院，重庆４０００４４） 摘　要：为解决因未考虑语义关联造成的ＶＳＭ描述不准确的问题，基于知网本体库计算词语间的语义相似度，采用识别完全子图 的方式生成概念词列表，再用概念词替换存在密切语义关联的词语。实验表明，该方法在改进文档特征提取效果的同时也明显降 低了向量空间的维度。与不经概念词处理的特征提取方法相比，该方法在分类识别率上有一定提升。 关键词：概念词；知网；向量空间模型；特征提取 中图分类号：ＴＱ３１６２４１　　　文献标识码：Ａ　　　 ＦｅａｔｕｒｅＥｘｔｒａｃｔｉｏｎＭｅｔｈｏｄＢａｓｅｄｏｎＣｏｎｃｅｐｔｗｏｒｄ  ＨＥＪｉｅ　ＺＨＵＺｈｅｎｇｙｕ 　ＤＯＮＧＳｈｕｊｉａ　ＹＵＣｈｕｎｌｅｉ （ＣｏｌｌｅｇｅｏｆＣｏｍｐｕｔｅｒＳｃｉｅｎｃｅ，ＣｈｏｎｇｑｉｎｇＵｎｉｖｅｒｓｉｔｙ，Ｃｈｏｎｇｑｉｎｇ４０００４４） Ａｂｓｔｒａｃｔ：ＩｎｏｒｄｅｒｔｏｓｏｌｖｅｔｈｅｐｒｏｂｌｅｍｉｎｔｈｅｉｎａｃｃｕｒａｔｅｄｅｓｃｒｉｐｔｉｏｎｏｆｔｈｅＶｅｃｔｏｒＳｐａｃｅＭｏｄｅｌ，ａｆｅａｔｕｒｅｅｘｔｒａｃｔｉｏｎｍｅｔｈｏｄｉｓｐｒｏｐｏｓｅｄｂａ ｓｉｎｇｏｎＣｏｎｃｅｐｔｗｏｒｄ，ｃｏｎｓｉｄｅｒｉｎｇｔｈｅｓｅｍａｎｔｉｃａｓｓｏｃｉａｔｉｏｎｂｅｔｗｅｅｎｗｏｒｄｓ．Ｆｉｒｓｔｌｙ，ｔｈｅｓｅｍａｎｔｉｃｓｉｍｉｌａｒｉｔｙｂｅｔｗｅｅｎｗｏｒｄｓｉｓｃａｌｃｕｌａｔｅｄｂａｓｉｎｇ ｏｎｔｈｅＨｏｗＮｅｔ．Ｆｒｏｍｔｈｅｓｉｍｉｌａｒｉｔｙｌｉｓｔ，ｔｈｅｃｏｍｐｌｅｔｅｓｕｂｇｒａｐｈｒｅｃｏｇｎｉｔｉｏｎｉｓｔａｋｅｎｔｏｇｅｎｅｒａｔｅａｌｉｓｔｏｆＣｏｎｃｅｐｔｗｏｒｄｓ．Ｔｈｅｎｗｏｒｄｓｏｆｃｌｏｓｅｌｙ ｒｅｌａｔｅｄａｒｅｒｅｐｌａｃｅｄｗｉｔｈｔｈｅＣｏｎｃｅｐｔｗｏｒｄｓ．Ｔｈｅｅｆｆｅｃｔｏｆｔｈｅｄｏｃｕｍｅｎｔｅｘｔｒａｃｔｉｏｎｉｓｉｍｐｒｏｖｅｄ．Ｔｈｅｄｉｍｅｎｓｉｏｎｓｏｆｄｏｃｕｍｅｎｔｖｅｃｔｏｒａｒｅｒｅ ｄｕｃｅｄ．Ｔｈｅｒｅｓｕｌｔｓｓｈｏｗｔｈａｔｔｈｅａｃｃｕｒａｃｙｏｆｃｌａｓｓｉｆｉｃａｔｉｏｎｉｓｉｍｐｒｏｖｅｄ，ｃｏｍｐａｒｅｄｗｉｔｈｔｈｅｍｅｔｈｏｄｗｉｔｈｏｕｔＣｏｎｃｅｐｔｗｏｒｄｄｅａｌｔ． Ｋｅｙｗｏｒｄｓ：ｃｏｎｃｅｐｔｗｏｒｄ；ＨｏｗＮｅｔ；ＶｅｃｔｏｒＳｐａｃｅＭｏｄｅｌ；ｆｅａｔｕｒｅｅｘｔｒａｃｔｉｏｎ ２．２　去除停用词 １　引言 大量分析表明，一篇文档中的内容主要是通过动词、名 向量空间模型（ＶＳＭ：ＶｅｃｔｏｒＳｐａｃｅＭｏｄｅｌ）由Ｓａｌｔｏｎ等人 词、形容词等实词来体现的，虚词以及在各种文档中经常出 于６０年代提出，被广泛应用于描述文档特征。该模型的一 ［７］ 现的高频词对于识别