一种基于BERT的违规文本识别算法及装置.pdfVIP

  • 4
  • 0
  • 约1.46万字
  • 约 12页
  • 2023-06-11 发布于四川
  • 举报

一种基于BERT的违规文本识别算法及装置.pdf

本申请提供的一种基于BERT的违规文本识别算法及装置,所述违规文本识别装置用于执行所述违规文本识别算法的步骤,利用关键词匹配算法获得获得敏感文本;将敏感文本输入到BERT文本识别模型,获得敏感文本对应的概率分布;对敏感文本进行概率分布分析及阈值过滤,识别出违规文本;以及对敏感文本进行概率分布分析,获得待定文本,通过对待定文本进行相似度过滤,确定待定文本标记是否为违规文本。本申请实施例提供的违规文本识别算法,结合关键词匹配算法,通过概率分布的分析与阈值过滤,以及相似度过滤的纠错,有效提高了违规文本

(19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 CN 113011171 A (43)申请公布日 2021.06.22 (21)申请号 202110246185.4 (22)申请日 2021.03.05 (71)申请人 北京市博汇科技股份有限公司

您可能关注的文档

文档评论(0)

1亿VIP精品文档

相关文档