一种文本的质量清洗方法、装置及介质.pdfVIP

  • 2
  • 0
  • 约1.7万字
  • 约 16页
  • 2023-05-05 发布于四川
  • 举报

一种文本的质量清洗方法、装置及介质.pdf

本申请公开了一种文本的质量清洗方法、装置及介质,主要涉及数据分类领域。该方法先对互联网语料进行采样,得到采样数据;再从采样数据中抽取预先设定的低质量文本,其中,低质量文本包括不通顺的语句、知识表达不充分的语句和重复出现的语句,预先设定的低质量文本至少包括其中两类。由此可见,相较于传统方法中只能筛出一类低质量文本,本申请提供的方法能够筛出至少两类低质量文本,通过覆盖多种类别的低质量文本,提高了文本质量分类模型的通用性。

(19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 CN 114298033 A (43)申请公布日 2022.04.08 (21)申请号 202111583937.2 (22)申请日 2021.12.22 (71)申请人 郑州

文档评论(0)

1亿VIP精品文档

相关文档