一种基于熵的文本相似性计算方法-计算机应用研究.pdf

第３３卷第３期 计 算 机 应 用 研 究 Ｖｏｌ３３Ｎｏ３ ２０１６年３月　 ＡｐｐｌｉｃａｔｉｏｎＲｅｓｅａｒｃｈｏｆＣｏｍｐｕｔｅｒｓ Ｍａｒ．２０１６ 一种基于熵的文本相似性计算方法 １ １ １ ２ 李圣文 ，凌　微 ，龚君芳 ，周长征 （１．中国地质大学信息工程学院，武汉４３００７４；２．国网十堰供电公司，湖北十堰４４２０００） 摘　要：文本比较是求解两个文本间相似度的过程，文本间的相似度越高代表两个文本越趋于类似。传统的相 似度算法主要从字符的角度度量文本的相似性，忽略了文本内多个共同文本串对于文本相似度的影响。针对此 问题提出一种基于熵的相似度求解方法，在对文本间字符信息的提取基础上，建立共同子文本串度量维度，然后 采用熵的方法进行相似度度量。实验表明，该方法具有更平滑的相似度曲线，从而验证了算法的有效性和准确性。 关键词：文本相似性；字符串匹配；编辑距离算法；最长公共子序列 中图分类号：ＴＰ３９１１　　　文献标志码：Ａ　　　　　文章编号：１００１３６９５（２０１６）０３０６６５０４ ｄｏｉ：１０．３９６９／ｊ．ｉｓｓｎ．１００１３６９５．２０１６．０３．００６ Ｔｅｘｔｓｉｍｉｌａｒｉｔｙｍｅｔｈｏｄｂａｓｅｄｏｎｅｎｔｒｏｐｙ １ １ １ １ ＬｉＳｈｅｎｇｗｅｎ，ＬｉｎｇＷｅｉ，ＧｏｎｇＪｕｎｆａｎｇ，ＺｈｏｕＣｈａｎｇｚｈｅｎｇ （１．ＳｃｈｏｏｌｏｆＩｎｆｏｒｍａｔｉｏｎＥｎｇｉｎｅｅｒｉｎｇ，ＣｈｉｎａＵｎｉｖｅｒｓｉｔｙｏｆＧｅｏｓｃｉｅｎｃｅｓ，Ｗｕｈａｎ４３００７４，Ｃｈｉｎａ；２．ＳｔａｔｅＧｒｉｄＳｈｉｙａｎＥｌｅｃｔｒｉｃＰｏｗｅｒＣｏｍｐａｎｙ， ＳｈｉｙａｎＨｕｂｅｉ４４２０００，Ｃｈｉｎａ） Ａｂｓｔｒａｃｔ：Ｔｅｘｔｃｏｍｐａｒｉｓｏｎｉｓｔｈｅｐｒｏｃｅｓｓｔｏｆｉｎｄｓｉｍｉｌａｒｉｔｙｂｅｔｗｅｅｎｔｈｅｔｗｏｔｅｘｔｓ，ｔｈｅｈｉｇｈｅｒｓｉｍｉｌａｒｉｔｙｂｅｔｗｅｅｎｔｈｅｔｅｘｔｓｓｈｏｗ ｔｈｅｔｗｏｔｅｘｔｓｔｅｎｄｔｏｌｉｋｅ．Ｔｈｅｔｒａｄｉｔｉｏｎａｌｍｅｔｈｏｄｗａｓｆｒｏｍｔｈｅｐｅｒｓｐｅｃｔｉｖｅｏｆｔｈｅｓｉｍｉｌａｒｉｔｙｍｅａｓｕｒｅｃｈａｒａｃｔｅｒｓｏｆｔｈｅｔｅｘｔ，ｉｇ ｎｏｒｅｄｔｈｅｔｅｘｔｓｉｍｉｌａｒｉｔｙｆａｃｔｏｒｏｆｔｈｅｐｌｕｒａｌｃｏｍｍｏｎｔｅｘｔｓｔｒｉｎｇｗｉｔｈｉｎｔｈｅｔｅｘｔ．Ｔｏａｄｄｒｅｓｓｔｈｉｓｐｒｏｂｌｅｍ，ｔｈｉｓｐａｐｅｒｐｒｏｐｏｓｅｄａ ｔｅｘｔｓｉｍｉｌａｒｉｔｙｍｅｔｈｏｄｂａｓｅｄｏｎｅｎｔｒｏｐｙ．Ｔｈｅｍｅｔｈｏｄｔｒｉｅｄｔｏｅｘｔｒａｃｔｃｏｍｍｏｎｓｔｒｉｎｇｓｆｒｏｍｔｅｘｔｓ，ｔｈｅｎｅｓｔａｂｌｉｓｈｅｄａｃｏｍｍｏｎ ｓｕｂｍｅａｓｕｒｅｄｉｍｅｎｓｉｏｎｓ，ａｎｄｃａｌｃｕｌａｔｅｄｔｈｅｓｉｍｉｌａｒｉｔｙｂａｓｅｄｏｎｅｎｔｒｏｐｙ．Ｅｘｐｅｒｉｍｅｎｔｓｓｈｏｗｔｈａｔｔｈｅｍｅｔｈｏｄｈａｓａｓｍｏｏｔｈｅｒ ｓｉｍｉｌａｒｉｔｙｃｕｒｖｅ，ｓｏｔｈｅａｌｇｏｒｉｔｈｍｉｓｅｆｆｅｃｔｉｖｅａｎｄａｃｃｕｒａｃｙ． Ｋｅｙｗｏｒｄｓ：ｔｅｘｔｓｉｍｉｌａｒｉｔｙ；ｓｔｒｉｎｇｍａｔｃｈ；Ｌｅｖｅｎｓｈｔｅｉｎｄｉｓｔａｎｃｅａｌｇｏｒｉｔｈｍ；ｌｏｎｇｅｓｔｃｏｍｍｏｎｓｅｑｕｅｎｃｅ ［５］