基于语义相似度的话题关联检测方法.pdfVIP

　 　 　 　 　 　 　 第卷第期 西南交通大学学报 ５０ 　 ３ Ｖｏｌ．５０　 Ｎｏ．３ ２０１５年６月　 　 　 　 　 　 ＪＯＵＲＮＡＬ ＯＦ ＳＯＵＴＨＷＥＳＴ ＪＩＡＯＴＯＮＧ ＵＮＩＶＥＲＳＩＴＹ　 　 　 　 　 　 Ｊｕｎ． ２０１５ 　 　 文章编号：０２５８２７２４（２０１５）０３０５１７０６　 　 ＤＯＩ：１０．３９６９／ ｊ．ｉｓｓｎ．０２５８２７２４．２０１５．０３．０２１ 基于语义相似度的话题关联检测方法 １，２ １ １ ２ 翟东海，崔静静，聂洪玉，杜佳 　 　 　 　 （ 西南交通大学信息科学与技术学院，四川成都 ； 西藏大学工学院，西藏拉萨 ） １． ６１００３１ ２． ８５００００ 摘要：为有效识别任意两篇报道的相似性，提出了一种基于语义相似度的话题关联检测算法该算法首先通　 ． 过计算特征词之间的相对熵作为两篇报道中特征词之间的语义相似度；其次，通过计算平均语义相似度获得特 征词和报道之间的关联度；最后，结合特征词在语料库中的ＴＦＩＦ（ｔｅｒｍ ｆｒｅｑｕｅｎｃｙｉｎｖｅｒｓｅ ｄｏｃｕｍｅｎｔ ｆｒｅｑｕｅｎｃｙ）权 重计算两篇报道之间的关联度，实现报道之间的关联度检测．本文提出的方法与现有的向量空间模型方法和仅 依赖于平均点互信息的方法进行了比较，并通过 中文语料进行测评，结果表明，基于语义相似度的关联检 ＴＤＴ４ 测方法能够更好地利用文本的语境信息，提高了现有检测系统的性能，其最小ＤＥＴ（ｄｅｔｅｃｔｉｏｎ ｅｒｒｏｒ ｔｒａｄｅｏｆｆ）代价 降低了３％ ． 关键词：关联检测；语义相似度；相对熵；关联度 中图分类号：ＴＰ３９１　 　 文献标志码：Ａ Ｔｏｐｉｃ Ｌｉｎｋ Ｄｅｔｅｃｔｉｏｎ Ｍｅｔｈｏｄ Ｂａｓｅｄ ｏｎ Ｓｅｍａｎｔｉｃ Ｓｉｍｉｌａｒｉｔｙ １，２ １ １ ２ ＺＨＡＩ Ｄｏｎｇｈａｉ ，　 ＣＵＩ Ｊｉｎｇｊｉｎｇ ，　 ＮＩＥ Ｈｏｎｇｙｕ ，　 ＤＵＪｉａ （１． Ｓｃｈｏｏｌ ｏｆ Ｉｎｆｏｒｍａｔｉｏｎ Ｓｃｉｅｎｃｅ ａｎｄ Ｔｅｃｈｎｏｌｏｇｙ，Ｓｏｕｔｈｗｅｓｔ Ｊｉａｏｔｏｎｇ Ｕｎｉｖｅｒｓｉｔｙ，Ｃｈｅｎｇｄｕ ６１００３１，Ｃｈｉｎａ； ２． Ｅｎｇｉｎｅｅｒｉｎｇ Ｓｃｈｏｏｌ，Ｔｉｂｅｔ Ｕｎｉｖｅｒｓｉｔｙ，Ｌｈａｓａ８５００００，Ｃｈｉｎａ） Ａｂｓｔｒａｃｔ：Ｔｏ ｅｆｆｅｃｔｉｖｅｌｙ ｊｕｄｇｅ ｔｈｅ ｓｉｍｉｌａｒｉｔｙ ｂｅｔｗｅｅｎ ｔｈｅ ｔｏｐｉｃｓ ｏｆ ａｎｙ ｔｗｏ ｏｆ ｓｔｏｒｉｅｓ，ａ ｔｏｐｉｃ ｌｉｎｋ ｄｅｔｅｃｔｉｏｎ ｍｅｔｈｏｄ ｗａｓ ｐｒｏｐｏｓｅｄ ｏｎ ｔｈｅ ｂａｓｉｓ ｏｆ ｓｅｍａｎｔｉｃ ｓｉｍｉｌａｒｉｔｙ． Ｆｉｒｓｔ ｔｈｅ ｒｅｌａｔｉｖｅ ｅｎｔｒｏｐｙ ｂｅｔｗｅｅｎ ， ｔｈｅ ｆｅａｔｕｒｅ ｗｏｒｄｓ ｉｎ ｔｗｏ ｓｔｏｒｉｅｓ ｗａｓ ｃａｌｃｕｌａｔｅｄ ｔｏ ｗｏｒｋ ａｓ ｔｈｅ ｓｅｍａｎｔｉｃ ｓｉｍｉｌａｒｉｔｙ． Ｆｕｒｔｈｅｒｍｏｒｅ，ｔｈｅ