一种词性标注器的训练方法、装置、电子设备和存储介质.pdfVIP

  • 2
  • 0
  • 约1.13万字
  • 约 10页
  • 2024-03-23 发布于四川
  • 举报

一种词性标注器的训练方法、装置、电子设备和存储介质.pdf

本发明涉及一种词性标注器的训练方法、装置、电子设备和存储介质,该方法包括:将训练数据中的单词序列转化为Token序列;对Token序列进行初始化;将初始化后的Token序列输入到掩码语言模型中训练词性语言模型输出掩码标签序列,在训练数据中的词性映射表查询掩码标签序列中非掩码位置的词性进行标注。本发明将单词序列和词性序列巧妙的融合在一个集合中,解除了两个集合之间的物理隔离,同时可以充分利用单词序列所蕴含的历史语言信息和底层语言信息,只需要一步训练就可以得到基于语言模型的词性标注器,词性标注器能够在

(19)国家知识产权局

(12)发明专利申请

(10)申请公布号CN117744645A

(43)申请公布日2024.03.22

(21)申请号202311873408.5

(22)申请日2023.12.30

(71)申请人云知声智能科技股份有限公司

地址

您可能关注的文档

文档评论(0)

1亿VIP精品文档

相关文档