CN119830959A 大模型解码约束方法、设备及介质 （浪潮通用软件有限公司）.docxVIP

(19)国家知识产权局

(12)发明专利申请

(10)申请公布号CN119830959A

(43)申请公布日2025.04.15

(21)申请号202510300772.5

(22)申请日2025.03.14

(71)申请人浪潮通用软件有限公司

地址250101山东省济南市历下区浪潮路

1036号

(72)发明人宋刚郑伟波周祥国韩嘉懿

杜宏伟丁一凡郑伟航王家琦徐雅迪高海涛

(74)专利代理机构北京君慧知识产权代理事务所(普通合伙)11716

专利代理师李洪越

(51)Int.Cl.

G06N3/0455(2023.01)

G06N3/0475(2023.01)

G06N5/04(2023.01)

G06F40/237(2020.01)

权利要求书2页说明书9页附图2页

(54)发明名称

大模型解码约束方法、设备及介质

(57)摘要

CN119830959A本申请公开了大模型解码约束方法、设备及介质，涉及模型处理领域，方法包括：基于FST模型、DFA模型，形成联合约束模型；基于大语言模型进行解码，生成对应词汇表的概率得分；基于联合约束模型对词汇表中的最小文本单元进行排除，输出的指定最小文本单元；基于待判定因子，对指定最小文本单元的结构进行动态调整，更新大语言模型的输出。不强制固定输出格