一种基于路径选择的多模态领域知识问答方法.pdfVIP

第４２卷第４期计算机应用与软件Ｖｏｌ４２Ｎｏ．４

２０２５年４月ＣｏｍｐｕｔｅｒＡｐｐｌｉｃａｔｉｏｎｓａｎｄＳｏｆｔｗａｒｅＡｐｒ．２０２５

一种基于路径选择的多模态领域知识问答方法

王向李艳超张晓明

（河北科技大学信息科学与工程学院河北石家庄０５００００）

摘要基于知识图谱的问答领域中存在着自然语言与结构化知识的差异性挑战，因此，提出一种利用谓词选

择路径的方法ＰＭＫＢＱＡ。构建多模态领域知识图谱和问题集；从问题中识别的主题实体出发，计算其边与问题谓

词的相似度，以逐跳的方式生成答案路径，直到找到问题答案，并依据答案路径获取问题答案的相关图像；在领域

问题集上做用户满意度评估实验，结果表明该方法可以给用户提供满意的图像，同时在ＱＡＬＤ数据集上进行问答

效果的对比实验，结果表明该方法比基线方法在Ｆ１指标上有所提升。

关键词多模态知识图谱问答多模态问题集路径选择

中图分类号ＴＰ３文献标志码ＡＤＯＩ：１０．３９６９／ｊ．ｉｓｓｎ．１０００３８６ｘ．２０２５．０４．０２８

ＰＭＫＢＱＡ：ＡＭＵＬＴＩＭＯＤＡＬＤＯＭＡＩＮＫＮＯＷＬＥＤＧＥＱＵＥＳＴＩＯＮＡＮＳＷＥＲＩＮＧ

ＭＥＴＨＯＤＢＡＳＥＤＯＮＰＡＴＨＳＥＬＥＣＴＩＯＮ



ＷａｎｇＸｉａｎｇＬｉＹａｎｃｈａｏＺｈａｎｇＸｉａｏｍｉｎｇ

（ＳｃｈｏｏｌｏｆＩｎｆｏｒｍａｔｉｏｎＳｃｉｅｎｃｅａｎｄＥｎｇｉｎｅｅｒｉｎｇ，ＨｅｂｅｉＵｎｉｖｅｒｓｉｔｙｏｆＳｃｉｅｎｃｅａｎｄＴｅｃｈｎｏｌｏｇｙ，Ｓｈｉｊｉａｚｈｕａｎｇ０５００００，Ｈｅｂｅｉ，Ｃｈｉｎａ）

ＡｂｓｔｒａｃｔＴｈｅｒｅａｒｅｄｉｆｆｅｒｅｎｔｃｈａｌｌｅｎｇｅｓｂｅｔｗｅｅｎｎａｔｕｒａｌｌａｎｇｕａｇｅａｎｄｓｔｒｕｃｔｕｒｅｄｋｎｏｗｌｅｄｇｅｉｎｔｈｅｆｉｅｌｄｏｆｑｕｅｓｔｉｏｎ

ａｎｓｗｅｒｉｎｇｂａｓｅｄｏｎｋｎｏｗｌｅｄｇｅｇｒａｐｈｓ．Ｔｈｅｒｅｆｏｒｅ，ｔｈｉｓｐａｐｅｒｐｒｏｐｏｓｅｓａｍｅｔｈｏｄｏｆｕｓｉｎｇｐｒｅｄｉｃａｔｅｓｔｏｓｅｌｅｃｔｐａｔｈｓ

（ＰＭＫＢＱＡ）．Ａｍｕｌｔｉｍｏｄａｌｄｏｍａｉｎｋｎｏｗｌｅｄｇｅｇｒａｐｈａｎｄｑｕｅｓｔｉｏｎｓｅｔｗｅｒｅｃｏｎｓｔｒｕｃｔｅｄ．Ｓｔａｒｔｉｎｇｆｒｏｍｔｈｅｓｕｂｊｅｃｔｅｎｔｉｔｙ

ｉｄｅｎｔｉｆｉｅｄｉｎｔｈｅｑｕｅｓｔｉｏｎ，ｃａｌｃｕｌａｔｉｎｇｔｈｅｓｉｍｉｌａｒｉｔｙｂｅｔｗｅｅｎｉｔｓｅｄｇｅａｎｄｔｈｅｑｕｅｓｔｉｏｎｐｒｅｄｉｃａｔｅ，ａｎｄｇｅｎｅｒａｔｉｎｇｔｈｅ

ａｎｓｗｅｒｐａｔｈｈｏｐｂｙｈｏｐｕｎｔｉｌｔｈｅａｎｓｗｅｒｔｏｔｈｅｑｕｅｓｔｉｏｎｗａｓｆｏｕｎｄ．Ｒｅｌｅｖａｎｔｉｍａｇｅｓｏｆｔｈｅａｎｓｗｅｒｏｆｔｈｅｑｕｅｓｔｉｏｎ

ａｃｃｏｒｄｉｎｇｔｏｔｈｅａｎｓｗｅｒｐａｔｈｗｅｒｅａｃｑｕｉｒｅｄ．Ｔｈｅｕｓｅｒｓａｔｉｓｆａｃｔｉｏｎｅｖａｌｕａｔｉｏｎｅｘｐｅｒｉｍｅｎｔｗａｓｄｏｎｅｏｎｔｈｅｄｏｍａｉｎｑｕｅｓｔｉｏｎ

ｓｅｔ，ａｎｄｔｈｅｒｅｓｕｌｔｓｓｈｏｗｔｈａｔｔｈｉｓｐａｐｅｒｃａｎｐｒｏｖｉｄｅｕｓｅｒｓｗｉｔｈｓａｔｉｓｆａｃｔｏｒｙｉｍａｇｅｓ．Ｍｅａｎｗｈｉｌｅ，ａｑｕｅｓｔｉｏｎａｎｓｗｅｒｉｎｇ

ｅｆｆｅｃｔｅｖａｌｕａｔｉｏｎｅｘｐｅｒｉｍｅｎｔｉｓｄｏｎｅｏｎｔｈｅＱＡＬＤｄａｔａｓｅｔ，ａｎｄｔｈｅｒｅｓｕｌｔｓｓｈｏｗｔｈａｔｏｕｒｍｅｔｈｏｄｉｓｂｅｔｔｅｒｔｈａｎｔｈｅ

ｂａｓｅｌｉｎｅｍｅｔｈｏｄｉｎＦ１．

ＫｅｙｗｏｒｄｓＭｕｌｔｉｍｏｄａｌｋｎｏｗｌｅｄｇｅｇｒａｐｈＱｕｅｓｔｉｏｎｓａｎｓｗｅｒｉｎｇＭｕｌｔｉｍｏｄａｌｑｕｅｓｔｉｏｎＰａｔｈｓｅｌｅｃｔｉｏｎ

为用户展示问题和答案之间的联系，对于一些难以用

０引言自然语言回