一种基于公共词块的英文短文本相似度算法-重庆理工大学学报.pdf

第２９卷　第８期 重 庆 理 工 大 学 学报（自然科学） ２０１５年８月 Ｖｏｌ．２９　　Ｎｏ．８ ＪｏｕｒｎａｌｏｆＣｈｏｎｇｑｉｎｇＵｎｉｖｅｒｓｉｔｙｏｆＴｅｃｈｎｏｌｏｇｙ（ＮａｔｕｒａｌＳｃｉｅｎｃｅ） Ａｕｇ．２０１５  ｄｏｉ：１０．３９６９／ｊ．ｉｓｓｎ．１６７４－８４２５（ｚ）．２０１５．０８．０１７ 一种基于公共词块的英文短文本相似度算法 黄贤英，刘英涛，饶勤菲 （重庆理工大学 计算机科学与工程学院，重庆　４０００５４） 摘　　　要：短文本相似度计算是自然语言处理方面的研究热点，传统基于词项的文本相似度 算法只考虑了词项因素，忽略了词序对短文本相似性的影响。为此提出了一种基于公共词块的 短文本相似度计算方法，综合考虑了词项和词序因素，将基于词项重合的重叠相似度算法与公 共词块间的词序相似度算法相结合，并采用自适应的加权组合方式得到短文本相似度值。实验 结果显示：与传统算法相比，该算法在稳定性和Ｆ值方面都具有较好的结果。 关　键　词：短文本；词序；公共词块；相似度算法 中图分类号：ＴＰ３９１．１　　　　文献标识码：Ａ 文章编号：１６７４－８４２５（２０１５）０８－００８８－０６ ＳｉｍｉｌａｒｉｔｙＡｌｇｏｒｉｔｈｍＢａｓｅｄｏｎＣｏｍｍｏｎＣｈｕｎｋｓ ＢｅｔｗｅｅｎＥｎｇｌｉｓｈＳｈｏｒｔＴｅｘｔｓ ＨＵＡＮＧＸｉａｎｙｉｎｇ，ＬＩＵＹｉｎｇｔａｏ，ＲＡＯＱｉｎｆｅｉ （ＣｏｌｌｅｇｅｏｆＣｏｍｐｕｔｅｒＳｃｉｅｎｃｅａｎｄＥｎｇｉｎｅｅｒｉｎｇ， ＣｈｏｎｇｑｉｎｇＵｎｉｖｅｒｓｉｔｙｏｆＴｅｃｈｎｏｌｏｇｙ，Ｃｈｏｎｇｑｉｎｇ４０００５４，Ｃｈｉｎａ） Ａｂｓｔｒａｃｔ：Ｉｔｉｓｓｈｏｒｔｔｅｘｔｓｉｍｉｌａｒｉｔｙｃｏｍｐｕｔａｔｉｏｎｔｈａｔｈａｓｂｅｅｎｔｈｅｆｏｃｕｓｏｆｔｈｅｎａｔｕｒａｌｌａｎｇｕａｇｅｐｒｏ ｃｅｓｓｉｎｇ．Ｏｎｌｙｔｈｅｗｏｒｄｓａｒｅｃｏｎｓｉｄｅｒｅｄｉｎｔｈｅｔｒａｄｉｔｉｏｎａｌｔｅｘｔｓｉｍｉｌａｒｉｔｙａｌｇｏｒｉｔｈｍｂａｓｅｄｏｎｔｈｅｔｅｒｍｓ， ｗｉｔｈｗｏｒｄｓｏｒｄｅｒｉｇｎｏｒｅｄ．Ａｎｅｗｍｅｔｈｏｄｂａｓｅｄｏｎｃｏｍｍｏｎｃｈｕｎｋｓｗａｓｐｒｅｓｅｎｔｅｄｔｏｃａｌｃｕｌａｔｅｔｈｅ ｓｈｏｒｔｔｅｘｔｓｉｍｉｌａｒｉｔｙ，ｗｈｉｃｈｃｏｎｓｉｄｅｒｓｔｈｅｎｕｍｂｅｒａｎｄｔｈｅｓｅｑｕｅｎｃｅｏｆｔｈｅｓａｍｅｗｏｒｄｓ．Ｔｈｅｓｉｍｉｌａｒｉｔｙ ｏｆｔｈｅｓｈｏｒｔｔｅｘｔｓｗａｓｇｏｔｔｅｎｔｈｒｏｕｇｈｍａｋｉｎｇａｕｔｏｍａｔｉｃｃｏｅｆｆｉｃｉｅｎｔｂｅｔｗｅｅｎｔｈｅｓｉｍｉｌａｒｉｔｙｂａｓｅｄｏｎｔｈｅ ｓａｍｅｗｏｒｄｓａｎｄｔｈｅｓｉｍｉｌａｒｉｔｙｂａｓｅｄｏｎｔｈｅｏｒｄｅｒｏｆｔｈｅｓａｍｅｗｏｒｄｓ．Ｔｈｅｓｉｍｕｌａｔｉｏｎｒｅｓｕｌｔｓｓｈｏｗｔｈａｔ， ｃｏｍｐａｒｅｄｗｉｔｈｃｏｎｖｅｎｔｉｏｎａｌｓｉｍｉｌａｒｉｔｙａｌｇｏｒｉｔｈｍｓ，ｔｈｅｐｒｅｓｅｎｔｅｄａｌｇｏｒｉｔｈｍｈａｓａｂｅｔｔｅｒｐｅｒｆｏｒｍａｎｃｅｉｎ ｔｈｅｓｔａｂｉｌｉｔｙａｎｄｔｈｅｈａｒｍｏｎｉｃｍｅａｎｔｏｗａｒｄｓｔｈｅｐｒｅｃｉｓｉｏｎａｎｄｔｈｅｒｅｃａｌｌ． Ｋｅｙｗｏｒｄｓ：ｓｈｏｒｔｔｅｘｔ；ｗｏｒｄｓｏｒｄｅｒ；ｃｏｍｍｏｎｃｈｕｎｋｓ；ｓｉｍｉｌａｒｉｔｙａｌｇｏｒｉｔｈｍ 　　收稿日期：２０１５－０３－２２ 基金项目：国家自然科学基金资助项目；重庆市教委科技计划项目（ＫＪ１００８２１）；重庆理工大学研究生创 新基金资助项目（ＹＣＸ２０１４２２７） 作者简介：黄贤英（１９６７—），女，重庆人，教授，硕士生导师，主要从事信息检索、移动计算研究；刘英涛（１９８８—），男，