多模态知识图谱.pdfVIP

多模态知识图谱 作者 ：郑秋硕，漆桂林，王萌 知识图谱技术已经被⼴泛⽤于处理结 化数据 （采⽤本体+D2R技术）和⽂本数据 （采⽤⽂本信息抽取技术），但是还有⼀类⾮结 化数 据，即视觉数据，则相对关注度较低，⽽且相缺乏有效的技术⼿段来从这些数据中提取结 化知识。最近⼏年，虽然有⼀些多模态视觉技术 提出，这些技术主要还是为了提升图像分类、图像⽣成、图像问答的效果，不能很好地⽀撑多模态知识图谱的 建。视觉数据库通常是图像 或视频数据的丰富来源，并提供关于知识图谱中实体的充分视觉信息。显然，如果可以在在更⼤范围内进⾏链接预测和实体对齐，进⽽进⾏ 实体关系抽取，可以使现有的模型在综合考虑⽂本和视觉特征时获得更好的性能，这也是我们研究多模态知识图谱 （multi-modal knowledge graph）的意义所在。 ⽬前，已经有很多开放知识图谱 （见和），⽽且不少企业也有 ⾃⼰的企业知识图谱。然⽽，这些知识图谱很少有可视化的数据资源。图1所 ⽰为多模态知识图谱的发展过程。 图1.多模态知识图谱的发展过程 多模态知识图谱与传统知识图谱的主要区别是，传统知识图谱主要集中研究⽂本和数据库的实体和关系，⽽多模态知识图谱则在传统知识图 谱的基础上， 建了多种模态 （例如视觉模态）下的实体，以及多种模态实体间的多模态语义关系。例如在最新的⼀个多模态百科图谱 Richpedia中 （如下图2所⽰）[5] ，⾸先 建了图像模态伦敦眼图像与⽂本模态知识图谱实体 （DBpedia实体 ：London eye）之间的多模 态语义关系 （rpo:imageof），之后还 建了图像模态实体伦敦眼与图像模态实体⼤本钟之间的多模态语义关系 （rpo:nextTo）。 图2.Richpedia中的多模态实体与多模态语义关系 ⼀、多模态知识图谱相关⼯作 随着⼈⼯智能技术的不断发展，知识图谱作为⼈⼯智能领域的知识⽀柱，以其强⼤的知识表⽰和推理能⼒受到学术界和产业界的⼴泛关注。 近年来，知识图谱在语义搜索、问答、知识管理等领域得到了⼴泛的应⽤。其中在描述多媒体的可⽤数据集中，现有的⼯作重点是捕获多媒 体⽂件的⾼级元数据(如作者、创建 ⽇期、⽂件⼤⼩、清晰度、持续时间)，⽽不是多媒体内容本⾝的⾳频或视觉特性。以下会介绍⼏个重要 的开源多模态知识图谱 ： 1.DBpedia[1] DBpedia作为近⼗年来语义⽹研究的中⼼领域，其丰富的语义信息也将会成为今后多模态知识图谱的链接端点，其完整的本体结 对于 建 多模态知识图谱提供了很⼤的便利。DBpedia项 ⽬是⼀个社区项 ⽬，旨在从维基百科中提取结 化信息，并使其可在⽹络上访问。DBpedia 知识库 ⽬前描述了超过260万个实体。对于每个实体，DBpedia定义了⼀个唯⼀的全局标识符，可以将其解引⽤为⽹络上⼀个RDF描述的实 体。DBpedia提供了30种⼈类可读的语⾔版本，与其他资源形成关系。在过去的⼏年⾥，越来越多的数据发布者开始建⽴数据集链接到 DBpedia资源，使DBpedia成为⼀个新的数据web互联中⼼。⽬前，围绕DBpedia的互联⽹数据源⽹络提供了约47亿条信息，涵盖地理信 息、⼈、公司、电影、⾳乐、基因、药物、图书、科技出版社等领域。 2.Wikidata[2] Wikidata中也存在⼤量的多模态资源，Wikidata是维基媒体基⾦会(WMF)联合策划的⼀个知识图谱，是维基媒体数据管理策略的核⼼项 ⽬。充分利⽤Wikidata的资源，主要挑战之⼀是提供可靠并且强⼤的数据共享查询服务，维基媒体基⾦会选择使⽤语义技术。活动的 SPARQL端点、常规的RDF转储和链接的数据api是 ⽬前Wikidata的核⼼技术，Wikidata的⽬标是通过创造维基百科全球管理数据的新⽅法 来克服数据不⼀致性。Wikidata的主要成就包括:Wikidata提供了⼀个可由所有⼈共享的免费协作知识库;Wikidata已经成为维基媒体最活跃 的项 ⽬之⼀;越来越多的⽹站在浏览页⾯时都从Wikidata获取内容，以增加⼤数据的可见性和实⽤性。 3.IMGpedia[3] IMGpedia是⼀个⼤型的链接数据集，它从Wikimedia Commons数据集中的图像中收集⼤量的可视化信息。它 建并⽣成了1500万个视 觉内容描述符，图像之间有4.5亿个视觉相似关系，此外，在IMGpedia中单个图像与DBpedia之