原创力文档- 1、本文档共4页，可阅读全部内容。
- 2、原创力文档（book118）网站文档一经付费（服务费），不意味着购买了该文档的版权，仅供个人/单位学习、研究之用，不得用于商业用途，未经授权，严禁复制、发行、汇编、翻译或者网络传播等，侵权必究。
- 3、本站所有内容均由合作方或网友上传，本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺！文档内容仅供研究参考，付费前请自行鉴别。如您付费，意味着您自己接受本站规则且自行承担风险，本站不退款、不进行额外附加服务；查看《如何避免下载的几个坑》。如果您已付费下载过本站文档，您可以点击 这里二次下载。
- 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等，请点击“版权申诉”（推荐），也可以打举报电话：400-050-0827(电话支持时间：9:00-18:30)。
- 5、该文档为VIP文档，如果想要下载，成为VIP会员后，下载免费。
- 6、成为VIP后，下载本文档将扣除1次下载权益。下载后，不支持退款、换文档。如有疑问请联系我们。
- 7、成为VIP后，您将拥有八大权益，权益包括：VIP文档下载权益、阅读免打扰、文档格式转换、高级专利检索、专属身份标志、高级客服、多端互通、版权登记。
- 8、VIP文档为合作方或网友上传，每下载1次， 网站将根据用户上传文档的质量评分、类型等，对文档贡献者给予高额补贴、流量扶持。如果你也想贡献VIP文档。上传文档
查看更多
( )
广西科学院学报 2009, 25 4 : 248～ 250, 256
. 25, . 4 2009
Journal of Guangxi A cadem y of Sciences V o l N o N ovem ber
平行语料库的相似语句去重算法
A lgor ithm for Rem ov ing Sim ilar Sen tence on Para llel
Corpus
1 2 1, 2
申文明 , 黄家裕 , 刘连芳
1 2 1, 2
, ,
SH EN W en m ing HU AN G J ia yu L IU L ian fang
( 1. 广西大学计算机与电子信息学院, 广西南宁 530004; 2. 南宁平方软件新技术有限公司, 广
西南宁 530003)
( 1. , , , , ,
Schoo l of Com pu ter E lectron ic and Info rm ation Guangx i U n iversity N ann ing Guangx i
530004, ; 2. . . , , , 530004,
Ch ina P ingsoft N ew T echno logy Co L td of N an ing N ann ing Guangx i
Ch ina)
摘要: 尝试对平行语料库中需要去重的中文句子相似情况作分类, 利用整体相似因子和局部相似因子计算句
子的相似度, 并借鉴KM P 算法的匹配跳跃思想, 提出中文字符串匹配的类KM P 算法, 并对算法进行实验验
证。结果表明, 算法具有较好的效果, 能够实现平行语料库中相似句子的去重。算法开放测试的召回率达94% ,
去重准确率达到84% 。算法可以应用于任何长度的语句比对, 适用范围广。
关键词: 去重 相似句子 平行语料库 类KM P
中图法分类号: T P 3913 文献标识码:A 文章编号:(2009)
Abstract: T he sim ilarity of Ch inese sen tence is classified and dup licated sen tence is rem oved.
.
Sen tence sim ilarity depends on sim ilarity of un itary facto r and partial facto r A cco rding to the
文档评论（0）