融合多模态数据的小样本命名实体识别方法.pdfVIP

软件学报ISSN1000-9825,CODENRUXUEWE-mail:jos@

JournalofSoftware,2024,35(3):11071124[doi:10.13328/ki.jos.007069]

©中国科学院软件研究所版权所有.Tel:+86-10



融合多模态数据的小样本命名实体识别方法

张天明,张杉,刘曦,曹斌,范菁

(浙江工业大学计算机科学与技术学院,浙江杭州310023)

通信作者:曹斌,E-mail:bincao@

摘要:作为自然语言处理领域的关键子任务,命名实体识别通过提取文本中的关键信息,帮助机器翻译、文本

生成、知识图谱构建以及多模态数据融合等许多下游任务深度理解文本蕴含的复杂语义信息,有效地完成任务.

在实际生活中,由于时间和人力等成本问题,命名实体识别任务常常受限于标注样本的稀缺.尽管基于文本的小

样本命名实体识别方法已取得较好的泛化表现,但由于样本量有限,使得模型能提取的语义信息也十分受限,进

而导致模型预测效果依然不佳.针对标注样本稀缺给基于文本的小样本命名实体识别方法带来的挑战,提出了一

种融合多模态数据的小样本命名实体识别模型,借助多模态数据提供额外语义信息,帮助模型提升预测效果,进

而可以有效提升多模态数据融合、建模效果.该方法将图像信息转化为文本信息作为辅助模态信息,有效地解决

了由文本与图像蕴含语义信息粒度不一致导致的模态对齐效果不佳的问题.为了有效地考虑实体识别中的标签依

赖关系,使用CRF框架并使用最先进的元学习方法分别作为发射模块和转移模块.为了缓解辅助模态中的噪声样

本对模型的负面影响,提出一种基于元学习的通用去噪网络.该去噪网络在数据量十分有限的情况下,依然可以

有效地评估辅助模态中不同样本的差异性以及衡量样本对模型的有益程度.最后,在真实的单模态和多模态数据

集上进行了大量的实验.实验结果验证了该方法的预测F1值比基准方法至少提升了10%,并具有良好的泛化性.

关键词:命名实体识别;多模态数据;小样本学习;元学习;去噪网络

中图法分类号:TP18

中文引用格式:张天明,张杉,刘曦,曹斌,范菁.融合多模态数据的小样本命名实体识别方法.软件学报,2024,35(3):

1107–1124./1000-9825/7069.htm

英文引用格式:ZhangTM,ZhangS,LiuX,CaoB,FanJ.MultimodalDatafusionforFew-shotNamedEntityRecognitionMethod.

RuanJianXueBao/JournalofSoftware,2024,35(3):11071124(inChinese)./1000-9825/7069.htm

MultimodalDataFusionforFew-shotNamedEntityRecognitionMethod

ZHANGTian-Ming,ZHANGShan,LIUXi,CAO