文本去重方法及装置、电子设备及可读存储介质.pdfVIP

  • 2
  • 0
  • 约1.91万字
  • 约 15页
  • 2023-05-17 发布于四川
  • 举报

文本去重方法及装置、电子设备及可读存储介质.pdf

本发明公开了一种文本去重方法及装置、电子设备及可读存储介质。其中,该方法包括:获取查询输入对应的多个结果文本;在预先构建的同义词知识库中对多个结果文本进行匹配,其中,同义词知识库是根据预先训练完成的文本去重模型的预测结果生成的,文本去重模型用于根据结果文本的文本特征、上下文特征以及扩展特征进行语义重复预测;根据同义词知识库的匹配结果筛除多个结果文本中的重复文本。本发明解决了由于相关技术中由于线上模型实时推理,准确度以及时效性较差的技术问题。

(19)国家知识产权局 (12)发明专利申请 (10)申请公布号 CN 114818672 A (43)申请公布日 2022.07.29 (21)申请号 202210356716.X G06F 16/33 (2019.01) (22)申请日 2022.04.

文档评论(0)

1亿VIP精品文档

相关文档