WO2025140746A2 基于多模态数据的模型训练方法、装置、设备及存储介质 （北京声智科技有限公司）.docxVIP

(12)按照专利合作条约所公布的国际申请

(19)世界知识产权组织国际局

(43)国际公布日

2025年7月3日(03.07.2025)

WIPOIPCT

(10)国际公布号

WO2025/140746A2

(51)国际专利分类号：

G06F18/241(2023.01)

(21)国际申请号：PCT/CN2025/079166

(22)国际申请日：2025年2月26日(26.02.2025)

(25)申请语言：中文

(26)公布语言：中文

(30)优先权：

202311809192.62023年12月26日(26.12.2023)CN

(71)申请人：北京声智科技有限公司(SOUNDAI

TECHNOLOGYCO.,LTD.)[CN/CN];中国北京市海淀区海淀西大街70号1层101100086(CN)。

(72)发明人：陈孝良(CHEN,Xiaoliang);中国北京市海淀区海淀西大街70号1层101100086(CN)。涂贤玲(TU,Xianling);中国北京市海淀区海淀西大街70号1层101100086(CN)。常乐(CHANG,Le);中国北京市海淀区海淀西大街70号1层101100086(CN)。黄赟贺(HUANG,Yunhe);中国北京市海淀区海淀西大街70号1层101100086(CN)。

(74)代理人：北京三高永信知识产权代理有限责任公司(BEIJINGSANGAOYONGXININTELLECTUALPROPERTYAGENCYCO,LTD.);中国北京市朝阳区慧忠路5号远大中心C座14层100101(CN)。

(81)指定国(除另有指明，要求每一种可提供的国家保护):AE,AG,AL,AM,AO,AT,AU,AZ,BA,BB,BG,

BH,BN,BR,BW,BY,BZ,CA,CH,CL,CN,CO,CR,CU,CV,CZ,DE,DJ,DK,DM,DO,DZ,EC,EE,EG,ES,FI,

GB,GD,GE,GH,GM,GT,HN,HR,HU,ID,IL,IN,IQ,

IR,IS,IT,JM,JO,JP,KE,KG,KH,KN,KP,KR,KW,KZ,LA,LC,LK,LR,LS,LU,LY,MA,MD,MG,MK,MN,

MU,MW,MX,MY,MZ,NA,NG,NI,NO,NZ,OM,PA,PE,PG,PH,PL,PT,QA,RO,RS,RU,RW,SA,SC,SD,

SE,SG,SK,SL,ST,SV,SY,TH,TJ,TM,TN,TR,TT,TZ,UA,UG,US,UY,UZ,VC,VN,WS,ZA,ZM,ZW。

(84)指定国(除另有指明，要求每一种可提供的地区保护):ARIPO(BW,CV,GH,GM,KE,LR,LS,MW,MZ,NA,RW,SC,SD,SL,ST,SZ,TZ,UG,ZM,ZW),欧亚(AM,AZ,BY,KG,KZ,RU,TJ,TM),欧洲(AL,AT,BE,BG,CH,CY,CZ,DE,DK,EE,ES,FI,FR,GB,GR,HR,

HU,IE,IS,IT,LT,LU,LV,MC,ME,MK,MT,NL,NO,PL,PT,RO,RS,SE,SI,SK,SM,TR),OAPI(BF,BJ,CF,

(54)Title:MODELTRAININGMETHODANDAPPARATUSBASEDONMULTI-MODALDATA,ANDDEVICEANDSTOR-AGEMEDIUM

(54)发明名称：基于多模态数据的模型训练方法、装置、设备及存储介质

计算机设备获取第一训练样木集；其中，第一训练样本集中包括已被标注的声

光样本组合、未被标注的声学样本和未被标注的光学样术；一个声光样本组合

中包括一个声学样木和一个光学样木

计算机设备对第一训练样本集中包括的声学样木进行声学特征提取以及对光学样术进行光学特征提取

计算机设备获取用于多模态融合的融合权重：其中，该融合权重是根据模型训练参数和进行数据来集时的外部环境动态调整的

WO2

WO2025/140746A2

在该融合权重的约束下，计算机设备基于第一训练样本集的标注信息、提取到的声学特征和光学特征进行模型训练，得到多模态融合识别模犁

201Acomputerdeviceacquiresafirsttr