面向多模态模型训练的高效样本检索技术.pdfVIP

软件学报ISSN1000-9825,CODENRUXUEWE-mail:jos@

JournalofSoftware,2024,35(3):11251139[doi:10.13328/ki.jos.007073]

©中国科学院软件研究所版权所有.Tel:+86-10



面向多模态模型训练的高效样本检索技术

11,211,2

唐秀,伍赛,侯捷,陈刚

1(浙江大学软件学院,浙江宁波315103)

2(浙江大学计算机科学与技术学院,浙江杭州310027)

通信作者:伍赛,E-mail:wusai@

摘要:深度学习中,多模态模型的训练通常需要大量高质量不同类型的标注数据,如图像、文本、音频等.然

而,获取大规模的多模态标注数据是一项具有挑战性和昂贵的任务.为了解决这一问题,主动学习作为一种有效

的学习范式被广泛应用,能够通过有针对性地选择最有信息价值的样本进行标注,从而降低标注成本并提高模型

性能.现有的主动学习方法往往面临着低效的数据扫描和数据位置调整问题,当索引需要进行大范围的更新时,

会带来巨大的维护代价.为解决这些问题,提出了一种面向多模态模型训练的高效样本检索技术So-CBI.该方法

通过感知模型训练类间边界点,精确评估样本对模型的价值;设计了半有序的高效样本索引,通过结合数据排序

信息和部分有序性,降低了索引维护代价和时间开销.在多组多模态数据集上通过与传统主动学习训练方法实验

对比,验证了So-CBI方法在主动学习下的训练样本检索问题上的有效性.

关键词:多模态模型训练;主动学习;样本检索

中图法分类号:TP18

中文引用格式:唐秀,伍赛,侯捷,陈刚.面向多模态模型训练的高效样本检索技术.软件学报,2024,35(3):1125–1139.

/1000-9825/7073.htm

英文引用格式:TangX,WuS,HouJ,ChenG.EfficientSampleRetrievalTechniquesforMultimodalModelTraining.RuanJian

XueBao/JournalofSoftware,2024,35(3):11251139(inChinese)./1000-9825/7073.htm

EfficientSampleRetrievalTechniquesforMultimodalModelTraining

11,211,2

TANGXiu,WUSai,HOUJie,CHENGang

1(CollegeofSoftware,ZhejiangUniversity,Ningbo315103,China)

2(CollegeofComputerScienceandTechnologyandCollegeofSoftware,Zhejiang