多种字符串相似度算法的比较研究.doc

总第２６９ 期 ２０１２ 年第３ 期 计算机与数字工程 Ｃｏｍｐｕｔｅｒ ＆ ＤｉｇｉｔａｌＥｎｇｉｎｅｅｒｉｎｇ Ｖｏｌ．４０ Ｎｏ．３ １４ 多种字符串相似度算法的比较研究＊ 牛永洁１ 张 成２ （１．延安大学计算中心 延安 ７１６０００）（２．延安大学网络中心 延安 ７１６０００） 摘 要 对计算字符串相似度的编辑距离算法、最长公共子串算法、贪心字符串匹 配 算 法、ＲＫＲ－ＧＳＴ 等 多 种 算 法，根据匹配过程是否 有序，对这些算法进行了分类。 然后对每种算法的实现原理进行了描述，并给出每个算法的运行步骤，结合一个实际的例子列出了算法运行 的结果，最后给出每种算法计算相似度的计算公式和算法时间复杂度及应用领域。 由于字符串相似度具有广泛的应用领域，对其中经典的 几种算法进行总结对比是一件十分有意义的研究工作。 关键词 字符串相似度；??辑距离；最长公共子串；贪心字符串匹配；ＲＫＲ－ＧＳＴ 中图分类号 ＴＰ３０１．６ ＣｏｍｐａｒａｔｉｏｎｏｆＳｔｒｉｎｇＳｉｍｉｌａｒｉｔｙＡｌｇｏｒｉｔｈｍ ＮＩＵ Ｙｏｎｇｊｉｅ１ ＺＨＡＮＧ Ｃｈｅｎｇ２ （１．ＣｏｍｐｕｔｉｎｇＣｅｎｔｅｒ，Ｙａｎａｎ Ｕｎｉｖｅｒｓｉｔｙ，Ｙａｎａｎ ７１６０００）（２．ＮｅｔｗｏｒｋＣｅｎｔｅｒ，Ｙａｎａｎ Ｕｎｉｖｅｒｓｉｔｙ，Ｙａｎａｎ ７１６０００） Ａｂｓｔｒａｃｔ ＦｏｒＬｅｖｅｎｓｈｔｅｉｎＤｉｓｔａｎｃｅ，ＬｏｎｇｅｓｔＣｏｍｍｏｎＳｕｂｓｅｑｕｅｎｃｅｓ，ＧｒｅｅｄｙＳｔｒｉｎｇＴｉｌｉｎｇ，ＲＫＲ－ＧＳＴａｎｄｏｔｈｅｒａｌｇｏｒｉｔｈｍｓ，ｔｈｅｓｅａｌ－ ｇｏｒｉｔｈｍｓｗｅｒｅｃｌａｓｓｉｆｉｅｄａｃｃｏｒｄｉｎｇｔｏｗｈｅｔｈｅｒｔｈｅｍａｔｃｈｉｎｇｐｒｏｃｅｓｓｉｓｏｒｄｅｒｌｙ．Ｔｈｅｎｔｈｅｒｅａｌｉｚａｔｉｏｎｏｆｔｈｅｐｒｉｎｃｉｐｌｅｓｏｆｅａｃｈａｌｇｏｒｉｔｈｍ ｗａｓｄｅ－ ｓｃｒｉｂｅｄ，ａｎｄｇｉｖｅｎｔｈｅｒｕｎｏｆｅａｃｈａｌｇｏｒｉｔｈｍｓｔｅｐ，ｃｏｍｂｉｎｅｄｗｉｔｈａｐｒａｃｔｉｃａｌｅｘａｍｐｌｅｓｈｏｗｓｔｈｅｒｅｓｕｌｔｓｏｆｔｈｅａｌｇｏｒｉｔｈｍ，ｔｈｅｆｏｒｍｕｌａｏｆｓｉｍｉ－ ｌａｒｉｔｙａｎｄａｌｇｏｒｉｔｈｍｔｉｍｅｃｏｍｐｌｅｘｉｔｙａｎｄａｐｐｌｉｃａｔｉｏｎｓｏｆｅａｃｈａｌｇｏｒｉｔｈｍ ｗｅｒｅｇｉｖｅｎ．Ａｓｔｈｅｓｔｒｉｎｇｓｉｍｉｌａｒｉｔｙｗｉｔｈａｗｉｄｅｒａｎｇｅｏｆａｐｐｌｉｃａｔｉｏｎｓ， ｗｈｉｃｈｉｓａｖｅｒｙ ｍｅａｎｉｎｇｆｕｌｗｏｒｋｔｏｓｕｍｍａｒｉｚｅｔｈｅｓｅｖｅｒａｌｃｌａｓｓｉｃａｌｇｏｒｉｔｈｍｓ． Ｋｅｙ Ｗｏｒｄｓ ｓｔｒｉｎｇｓｉｍｉｌａｒｉｔｙ，ｌｅｖｅｎｓｈｔｅｉｎｄｉｓｔａｎｃｅ，ｌｏｎｇｅｓｔｃｏｍｍｏｎｓｕｂｓｅｑｕｅｎｃｅｓ，ｇｒｅｅｄｙｓｔｒｉｎｇｔｉｌｉｎｇ，ＲＫＲ－ＧＳＴ ＣｌａｓｓＮｕｍｂｅｒ ＴＰ３０１．６ 定义如式（１）所示。 引言 字符串相似度在很多领域都有广泛的应用。 如在抄袭 检测 系 统［１］、自 动 评 分 系 统［２］、防代码剽窃系统［３～４］、数 据 清洗［５］、网页搜索［６］和 ＤＮＡ 序 列 匹 配［７］等领域都有应用。 目前，字 符串相似度度量算 法 有 很 多，如编辑距离算法 （ＬｅｖｅｎｓｈｔｅｉｎＤｉｓｔａｎｃｅ），最长 公 共 子 串 算 法 （ＬｏｎｇｅｓｔＣｏｍ－ ｍｏｎＳｕｂｓｅｑｕｅｎｃｅｓ，ＬＣＳ）、Ｈｅｃｋｅｌ算 法、贪心字符串匹配算 法（ＧｒｅｅｄｙＳｔｒｉｎｇ Ｔｉｌｉｎｇ，ＧＳＴ））及 ＲＫＲ－ＧＳＴ 算 法 （Ｒｕｎ－ ｎｉｎｇＫａｒｐ－ＲａｂｉｎＧｒｅｅｄｙＳｔｒｉｎｇＴｉｌｉｎｇ，ＲＫＲ－ＧＳＴ）等。 这些 算法因为实现的原理 不 同，得到的字符串相似度也会有些 差别，进而应用的领域也会有所不同。 １ ｜｛ｐｉ｜（ｐｉ，ｔｊ）∈Ｒｓ｝｜＋｜｛ｔｊ｜（ｐｉ，ｔｊ）∈Ｒｓ｝｜ Ｓ（Ｐ，Ｔ）＝ ×１００ ｜Ｐ｜＋｜Ｔ｜ （１） 式（１）中的符号｜·｜表 示 元 素 个 数，此 定 义 表 明，Ｐ 和 Ｔ 之间的相似性是一个比值，这个比值是由 ＲＳ 中的元素个 数除以Ｐ 和Ｔ 中元素个数的总和。 若 ＲＳ 较小，则Ｓ 较小， 若 ＲＳ ＝  ，则Ｓ＝０，当 Ｐ 和 Ｔ 完 全 相 同 时，ｉ（ｐｉ，ｔｉ ）∈ Ｓ ， 。 Ｒ Ｓ＝１ 算法描述及实例 编辑距离算法 编辑距离是用来计算从原字符串Ｓ 转换到目标字符串 ３ ３．１ 字符串相似度概念 字符串相似度度量是寻找两个字符串的公共子串，利 用公共子串的长度根据相应的公式来衡量两个字符串的相 似程度。 对于待比较的两个字符串，把其中比较短