基于Bert的语言模型的训练方法及装置[发明专利].pdf

(19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 CN 111291166 A (43)申请公布日 2020.06.16 (21)申请号 202010384255.8 G06K 9/62(2006.01) G06N 3/04(2006.01) (22)申请日 2020.05.09 G06N 3/08(2006.01) (71)申请人 支付宝（杭州）信息技术有限公司 地址 310000 浙江省杭州市西湖区西溪路 556号8层B段801-11 (72)发明人 刘佳　 (74)专利代理机构 北京亿腾知识产权代理事务 所(普通合伙) 11309 代理人 陈婧玥　周良玉 (51)Int.Cl. G06F 16/33(2019.01) G06F 16/332(2019.01) G06F 16/35(2019.01) G06F 40/289(2020.01) G06F 40/30(2020.01) 权利要求书3页 说明书10页 附图3页 (54)发明名称 基于Bert的语言模型的训练方法及装置 (57)摘要 本说明书实施例提供一种基于Bert的语言 模型的训练方法，该方法中包括：首先，获取历史 会话样本，其中包括某次业务会话产生的多条对 话语句和对应的类别标签，该类别标签指示通过 该某次业务会话是否达到业务目的；接着，基于 上述多条对话语句，确定语义符号序列，并将该 语义符号序列输入所述语言模型中，得到整体语 义向量；然后，将该整体语义向量输入业务会话 分类模型中，得到预测分类结果；最后，基于该预 测分类结果和上述类别标签，调整上述业务会话 分类模型和语言模型的模型参数。如此，通过将 判断多轮对话的目的是否达成为训练任务，可以 A 提高训练出的语言模型对多轮对话的语义理解 6 深度和广度。 6 1 1 9 2 1 1 1 N C CN 111291166 A 权　利　要　求　书 1/3页 1.一种基于Bert的语言模型的训练方法，包括： 获取历史会话样本，其中包括某次业务会话产生的多条对话语句和对应的类别标签， 该类别标签指示通过该某次业务会话是否达到业务目的； 基于所述多条对话语句，确定语义符号序列； 将所述语义符号序列输入所述语言模型中，得到整体语义向量； 将所述整体语义向量输入业务会话分类模型中，得到预测分类结果； 基于所述预测分类结果和所述类别标签，调整业务会话分类模型和所述语言模型的模 型参数。 2.根据权利要求1所述的方法，其中，所述某次业务会话的会话角色包括业务方和用 户，所述获取历史会话样本，包括： 获取所述多条对话语句，以及获取所述用户在所述某次业务会话之后的业务行为数 据； 基于预设规则，根据所述业务行为数据确定所述类别标签； 基于所述多条对话语句和类别标签，构建所述历史会话样本。 3.根据权利要求1所述的方法，其中，基于所述多条对话语句，确定语义符号序列，包 括： 通过在首条对话语句之前添加预定起始符号，以及确定每条对话语句对应的若干语义 单元符号，得到所述语义符号序列；其中语义单元符号为对话语句中的字或词。 4.根据权利要求3所述的方法，其中，得到所述语义符号序列，还