基于分类词典的文本相似性度量方法-智能系统学报.pdfVIP

第 １２卷第４期　 　 　 　 　 　 　 　 　 　 　 　 智　 能　 系　 统　 学　 报　 　 　 　 　 　 　 　 　 　 　 　 　 　 　 Ｖｏｌ．１２ №．４ ２０１７年８月　 　 　 　 　 　 　 　 　 　 　 ＣＡＡＩ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｉｎｔｅｌｌｉｇｅｎｔ Ｓｙｓｔｅｍｓ　 　 　 　 　 　 　 　 　 　 　 　 　 Ａｕｇ． ２０１７ ＤＯＩ：１０．１１９９２／ ｔｉｓ．２０１６０８０１０ 基于分类词典的文本相似性度量方法 １ ２ 李海林 ，邹金串 （１．华侨大学信息管理系，福建 泉州３６２０２１；２．华侨大学现代应用统计与大数据研究中心，福建 厦门３６１０２１） 摘　 要：针对现有基于语义知识规则分析的文本相似性度量方法存在时间复杂度高的局限性，提出基于分类词典的 × 文本相似性度量方法。 利用汉语词法分析系统ＩＣＴＣＬＡＳ对文本分词，运用ＴＦ ＩＤＦ方法提取文本关键词，遍历分类 词典获取关键词编码，通过计算文本关键词编码的近似性来衡量原始文本之间的相似度。 选取基于语义知识规则 和基于统计两个类别的相似性度量方法作为对比方法，通过传统聚类与ＫＮＮ分类分别对相似性度量方法进行效果 验证。 数值实验结果表明，新方法在聚类与分类实验中均能取得较好的实验结果，相较于其他基于语义分析的相似 性度量方法还具有良好的时间效率。 关键词：文本挖掘；语义分析；分类词典；关键词提取；词语编码；相似性度量；聚类；分类 － － － 中图分类号：ＴＰ３０１　 文献标志码：Ａ　 文章编号：１６７３ ４７８５（２０１７）０４ ０５５６ ０７ － 中文引用格式：李海林，邹金串．基于分类词典的文本相似性度量方法［Ｊ］． 智能系统学报，２０１７，１２（４）：５５６ ５６２． 英文引用格式：ＬＩ Ｈａｉｌｉｎ，ＺＯＵ Ｊｉｎｃｈｕａｎ． Ｔｅｘｔ ｓｉｍｉｌａｒｉｔｙ ｍｅａｓｕｒｅ ｍｅｔｈｏｄ ｂａｓｅｄ ｏｎ ｃｌａｓｓｉｆｉｅｄ ｄｉｃｔｉｏｎａｒｙ［Ｊ］． ＣＡＡＩ ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ － ｉｎｔｅｌｌｉｇｅｎｔ ｓｙｓｔｅｍｓ，２０１７，１２（４）：５５６ ５６２． Ｔｅｘｔ ｓｉｍｉｌａｒｉｔｙ ｍｅａｓｕｒｅ ｍｅｔｈｏｄ ｂａｓｅｄ ｏｎ ｃｌａｓｓｉｆｉｅｄ ｄｉｃｔｉｏｎａｒｙ １ ２ ＬＩ Ｈａｉｌｉｎ ，ＺＯＵＪｉｎｃｈｕａｎ （１．ＤｅｐａｒｔｍｅｎｔｏｆＩｎｆｏｒｍａｔｉｏｎＳｙｓｔｅｍｓ，ＨｕａｑｉａｏＵｎｉｖｅｒｓｉｔｙ，Ｑｕａｎｚｈｏｕ３６２０２１，Ｃｈｉｎａ；２．ＲｅｓｅａｒｃｈＣｅｎｔｅｒｏｆＡｐｐｌｉｅｄＳｔａｔｉｓｔｉｃｓａｎｄＢｉｇ Ｄａｔａ，Ｈｕａｑｉａｏ Ｕｎｉｖｅｒｓｉｔｙ，Ｘｉａｍｅｎ ３６１０２１，Ｃｈｉｎａ） Ａｂｓｔｒａｃｔ：Ｅｘｉｓｔｉｎｇ ｔｅｘｔ⁃ｓｉｍｉｌａｒｉｔｙ ｍｅａｓｕｒｅｍｅｎｔ ｍｅｔｈｏｄｓ ｂａｓｅｄ ｏｎ ｔｈｅ ｓｅｍａｎｔｉｃ ｋｎｏｗｌｅｄｇｅ ｒｕｌｅｓ ａｎａｌｙｓｉｓ ｈａｖｅ ｔｈｅ ｌｉｍｉｔａｔｉｏｎ ｏｆ ｈｉｇｈ ｔｉｍｅ ｃｏｍｐｌｅｘｉｔｙ． Ｉｎ ｔｈｉｓ ｐａｐｅｒ，ｗｅ ｐｒｏｐｏｓｅ ａ ｔｅｘｔ⁃ｓｉｍｉｌａｒｉｔｙ ｍｅａｓｕｒｅｍｅｎｔ ｍｅｔｈｏｄ ｂａｓｅｄ ｏｎ ｔｈｅ Ｃｌａｓｓｉｆｉｅｄ Ｄｉｃｔｉｏｎａｒｙ． Ｆｉｒｓｔ，ｗｅ