原创力文档- 4
- 0
- 约3.14万字
- 约 26页
- 2023-06-06 发布于四川
- 举报
本说明书实施例提供语言模型训练方法、文本预测方法以及装置，其中所述语言模型训练方法包括：获取第一样本集，其中，第一样本集包括多组样本文本对；利用引导模板，对各样本文本对分别进行格式转换，获得符合引导模板对应文本格式的多个转换样本文本；对各转换样本文本进行掩码处理，获得多个掩码样本文本；利用多个掩码样本文本，对掩码语言模型进行训练，获得预训练语言模型。通过利用引导模板对多组样本文本对统一进行格式转换，使得模型可以兼顾多种格式的样本文本对，提高模型的训练效率以及模型普适性，降低模型的维护成本。
(19)国家知识产权局
(12)发明专利申请
(10)申请公布号 CN 115759001 A
(43)申请公布日 2023.03.07
(21)申请号 202211201583.5
(22)申请日 2022.09.29
(71)申请人 阿里巴巴（中国）有限公司
地址 3
文档评论（0）