WO2025139386A1 生成文本的方法、训练文本生成模型的方法及相关装置 （深圳云天励飞技术股份有限公司）.docxVIP

(12)按照专利合作条约所公布的国际申请

(19)世界知识产权组织国际局

(43)国际公布日

2025年7月3日(03.07.2025)

WIPOIPCT

(10)国际公布号

WO2025/139386A1

(51)国际专利分类号：

G06F40/289(2020.01)

(21)国际申请号：PCT/CN2024/130440

(22)国际申请日：2024年11月7日(07.11.2024)

(25)申请语言：中文

(26)公布语言：中文

(30)优先权：

202311873965.72023年12月30日(30.12.2023)CN

(71)申请人：深圳云天励飞技术股份有限公司(SHENZHENINTELLIFUSIONTECHNOLOGIESCO.,LTD.)[CN/CN];中国广东省深圳市龙岗区园山街道荷坳社区龙岗大道8288号大运软件小镇36栋4CN)。

(72)发明人：蚁韩羚(YI,Hanling);中国广东省深圳市龙岗区园山街道荷坳社区龙岗大道8288号大运软件小镇36栋4CN)。余晓填(YU,Xiaotian);中国广东省深圳市龙岗区园山街道荷坳社区龙岗大道8288号大运软件小镇36栋4CN)。肖嵘(XIAO,Rong);中国广东省深圳市龙岗区园山街道荷坳社区龙岗大道8288号大运软件小镇36栋4(CN)。陈宁(CHEN,Ning);中国广东省深圳市龙岗区园山街道荷坳社区龙岗大道8288号大运软件小镇36栋4CN)。

(74)代理人：深圳驿航知识产权代理事务所(普通合伙)(SHENZHENYIHANGINTELLECTUALPROPERTYAGENCYOFFICE);中国广东省深圳

WO2025/139386A1

WO2025/139386A1

(54)Title:TEXTGENERATIONMETHOD,METHODFORTRAININGTEXTGENERATIONMODEL,ANDRELATEDDE-VICE

(54)发明名称：生成文本的方法、训练文本生成模型的方法及相关装置

方法300

获取输入文本

获取输入文本

根据所述输入文本确定输入词元向量

将所述输入词元向量输入所述文本生成模型，得到输出结果

对所述输出结果进行采样，得到输出词元及其概率

根据所述输出词元及其概率计算损失值

根据所述损失值训练所述文本生成模型

S310

S320

S330

S340

S350

S360

300Method

S310Acquireaninputtext

S320Determineaninputtokenvectoronthebasisoftheinputtext

S330Inputtheinputtokenvectorintoatext

generationmodeltoobtainanoutputresultS340Sampletheoutputresulttoobtainoutput

tokensandprobabilitiesthereof

S350Calculatealossvalueonthebasisofthe

outputtokensandtheprobabilitiesthereofS360Trainthetextgenerationmodelonthe

basisofthelossvalue

图3

(57)Abstract:Thepresentapplicationisapplicabletothetechnicalfieldofartificialintelligence,andprovidesatext