1. 您所在位置：
  2. 网站首页
  3. 文档分类
  4. 行业资料
  5. 国内专利

一种海量文本实时重复文章检测方法.pdfVIP

  • 18
  • 0
  • 约6.7千字
  • 约 8页
  • 2023-05-25 发布于四川
  • 举报

一种海量文本实时重复文章检测方法.pdf

    本发明公开了一种海量文本实时重复文章检测方法，包括：对发表文章进行html标签过滤，只留下纯文本；计算所述已发表文章的纯文本内容的n位二进制指纹；对n位二进制指纹进行切割，切割为m份二进制指纹；计算所述二进制指纹md5的值，当做一个rediskey，并把所述n位二进制指纹分别放进m个数据集合中；对提交的文章做预处理，得到n位二进制指纹，并计算所述提交文章的md5的值；根据所述提交文章的md5的值，作为redis集合的key，将所述提交文章的n位二进制指纹与所述key对应集合中的发表文章的n位二

    (19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 CN 112232054 A (43)申请公布日 2021.01.15 (21)申请号 202011118524.2 (22)申请日 2020.10.19 (71)申请人 北京值得买科技股份有限公司

    您可能关注的文档

    最近下载

    文档评论（0）

    1亿VIP精品文档

    更多 >

    相关文档

    更多 >