CN107015961-CN201610053813-一种文本相似性比对方法.pdfVIP

(19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 CN 107015961 A (43)申请公布日 2017.08.04 (21)申请号 201610053813.6 (22)申请日 2016.01.27 (71)申请人 中文在线数字出版集团股份有限公 司 地址 100007 北京市东城区安定门东大街 28号2号楼9层905号 申请人 中国新闻出版研究院 (72)发明人 张国文　 (74)专利代理机构 北京市盛峰律师事务所 11337 代理人 于国富 (51)Int.Cl. G06F 17/27(2006.01) G06F 17/30(2006.01) 权利要求书2页 说明书7页 附图1页 (54)发明名称 一种文本相似性比对方法 (57)摘要 本发明公开了一种文本相似性比对方法，涉 及网络作品比对技术领域。本发明实施例中，文 本相似性比对在系统的架构上采用分布式架构， 在比对算法上采用多粒度分层算法，包括以文档 为粗粒度的相似度比对，以及以分段文本为细粒 度的相似度比对，从而在内容相似性比对的效率 和精确性上取得了较好的均衡，实现了如下的性 能指标：在构建的测试数据上，平均漏警率和虚 警率≤10％，比对响应时间≤0.1秒。 A 1 6 9 5 1 0 7 0 1 N C CN 107015961 A 权　利　要　求　书 1/2页 1.一种文本相似性比对方法，其特征在于，包括如下步骤： S1，以文档为粗粒度，根据词的浅层次相似度从注册作品库中筛选出相似度最大的N个 作品形成候选作品集，其中，N为自然数； S2，对所述候选作品集中的每个作品进行文本分段，得到分段文本； S3，以所述分段文本为细粒度，进行文本细粒度相似度比对。 2.根据权利要求1所述的文本相似性比对方法，其特征在于，S1之前还包括步骤S0：对 所述文档进行分词和词性标注。 3.根据权利要求2所述的文本相似性比对方法，其特征在于，S0和S1之间还包括步骤： 对所述分词进行过滤处理。 4.根据权利要求3所述的文本相似性比对方法，其特征在于，所述对所述分词进行过滤 处理，采用插件式过滤链，所述插件式过滤链包括停用词过滤器和/或同义词过滤器。 5.根据权利要求1所述的文本相似性比对方法，其特征在于，S1中，所述词的浅层次相 似度，采用如下公式进行计算： Sim(D1,D2)＝Count(D1∩D2)/(Count(D1)+Count(D2))， 式中， D＝{W1,W2,W3…}表示文档， Wi表示文档D中的词， D1∩D2表示文档D1、D2中词的交集， Count(Di)表示文档Di中词的个数。 6.根据权利要求1所述的文本相似性比对方法，其特征在于，S2中，所述文本分段包括 如下方式：以段落分段、以一定数量的字词分段或以句子分段。 7.根据权利要求1所述的文本相似性比对方法，其特征在于，S3中所述文本细粒度相似 度由：基于句子的浅层相似度、信息熵相似度和浅语义相似度组成和计算得到，具体地， 当所述基于句子的浅层相似度，采用如下公式进行计算： SimSha(S1，S2)＝Count(S1∩S2)/(Count(S1)+Count(S2))， 式中， SimSha(S1，S2)表示基于句子的浅层相似度， S＝{W1,W2,W3…}表示句子， Wi表示句子S中的词， S1∩S2表示句子S1、S2