一种基于对比学习聚类的文本清洗方法及系统.pdfVIP

  • 4
  • 0
  • 约1.68万字
  • 约 17页
  • 2023-07-07 发布于四川
  • 举报

一种基于对比学习聚类的文本清洗方法及系统.pdf

本发明公开了一种基于对比学习聚类的文本清洗方法及系统,通过获取对比学习样本,对每一条文本数据使用不同的增强方法进行增强得到两条增强的文本数据;然后计算文本数据的文本向量,并进行聚类,得到各个文本类型的聚类中心向量;通过全连接层网络对增强文本向量进行编码处理;通过多种损失函数训练文本聚类模型,更新聚类中心向量,最后计算待清洗文本数据的文本向量与更新后的各个聚类中心向量的距离,按最小距离作为该文本向量对应的文本数据的噪声度并排序,有人工进行判断。本发明结合对比学习方法,利用多种损失函数,对文本进行聚

(19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 CN 113849654 A (43)申请公布日 2021.12.28 (21)申请号 202111455242.6 (22)申请日 2021.12.01 (71)申请人 杭州费尔斯通科技有限公司

文档评论(0)

1亿VIP精品文档

相关文档