一种无标点文本分句方法.pdfVIP

  • 11
  • 0
  • 约8.36千字
  • 约 9页
  • 2023-06-06 发布于四川
  • 举报
本发明涉及计算机领域的人工智能技术领域,具体涉及一种无标点文本分句方法,S1:中文文本数据预处理,从数据库里提取待处理的文本数据,并确定分割文本的标识符类别,清洗数据,去掉文本中特殊的字符;S2:根据标签对处理好的数据进行数据标注,每一个字符后增加一个语料,单条语料里每个字符一行,语料与字符间用空格隔开;S3:将标注后的文本放入BERT中文预训练语言模型中,把中文字符转换为Embedding空间字向量;S4:将提取的Embedding空间向量放入BiLSTM中得到包含上下文信息的向量h,再经过一

(19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 CN 112765957 A (43)申请公布日 2021.05.07 (21)申请号 202110220106.2 (22)申请日 2021.02.27 (71)申请人 中电

文档评论(0)

1亿VIP精品文档

相关文档