原创力文档- 5
- 0
- 约1.21万字
- 约 10页
- 2024-03-06 发布于四川
- 举报
本发明涉及自然语言处理技术领域，涉及一种基于预训练模型的中文跨语言知识增强方法，其包括以下步骤：步骤1、句子进行分词；步骤2、分词后的句子通过多语言知识增强模块中的声母知识层和翻译知识层获得翻译知识和声母知识；步骤3、将翻译知识和声母知识与原句子拼接成一棵树，使用可变注意力机制来计算树上的注意力分数；步骤4、使用BERT生成嵌入，包括标记嵌入、位置嵌入和段嵌入，同时在每个标记之后插入相应的初始辅音和翻译知识；步骤5、基于生成的注意力分数和嵌入，对编码器的输出进行了微调，以实现各种下游任务。本发明
(19)国家知识产权局
(12)发明专利申请
(10)申请公布号CN117648935A
(43)申请公布日2024.03.05
(21)申请号202311397089.5G06F40/284(2020.01)
文档评论（0）