生活服务领域知识图谱问答评测.docxVIP

生活服务知识图谱问答评测 评测背景 在互联网软硬件相关技术飞速发展的今天，人们每天接触与制造的数据量日益上升，理解与应用这些数据所需的成本也随之增加。因此，如何高效而准确地处理海量异质数据成为了一个亟待解决的问题。知识图谱以结构化的“知识”来存储与表示海量数据，作为承载底层海量知识并支持上层智能应用的重要载体，它在智能时代中扮演了极其重要的角色。 然而，由于知识图谱高度结构化的特点，我们常常需要构建结构化查询语句（SPARQL等）来查找相关知识，这为普通用户使用知识图谱造成了不便。因此，在知识图谱上进行自然语言问答（KBQA）近年来成为了前者的热门应用之一。在学界，semantic parsing、IR等创新性方法与框架百花齐放；在业界，智能音箱、语音助手、智能问诊等应用也极大地拓宽了知识图谱自然语言问答的应用场景，进一步加强了对高效、准确、易用、安全、可解释的KBQA系统的需求。 面对这一需求，我们提出了中文知识图谱问答这一评测任务，期待参赛者们可以提出创新性的KBQA系统，同时处理“专而深”的特定领域和“广而浅”的开放领域知识图谱，对用户提出的复杂多样的自然语言问题给出准确答案。同时，我们更希望此次评测可以为KBQA的下一步研究和落地提供一些理论及实践层面的启发。 任务描述 本任务属于中文知识图谱自然语言问答任务，简称CKBQA （Chinese Knowledge Base Question Answering）。即输入一句中文问题，问答系统从给定知识库中选择若干实体或属性值作为该问题的答案。问题均为客观事实型，不包含主观因素。理解并回答问题的过程中可能需要进行实体识别、关系抽取、语义解析等子任务。这些任务的训练可以使用额外的资源，但是最终的答案必须来自给定的知识库。 知识图谱问答在当前互联网信息爆炸、人工智能盛行的时代是十分有战略价值和研究意义的。一方面，传统搜索引擎是以网页资源为核心，依据关键词索引、文本匹配等方式进行检索并返回给用户相关网页链接，而用户很多时候需要的只是对一个具体问题的特定解答。另一方面，诸如智能音箱、智能问诊等新一代产品应用通常也需要依赖于特定的知识图谱响应用户的自然语言请求。例如智能问诊应用可以依据医药健康领域的知识库对患者的情况进行初步诊断。 本次知识图谱问答任务是在CCKS上举办的第四届。今年在OpenKG基础上引入生活服务领域知识库及问答数据。同时依然保留去年开放领域的问答数据以供参赛队伍对模型进行训练。我们期望参赛选手的问答系统既能处理各种百科类的浅层问题，也能处理具备一定领域知识。 本评测任务所使用的生活服务领域知识图谱来源于美团。其中包括旅游、酒店、美食等多种领域的数据。我们将这些数据集整合到一起，同开放领域知识库PKUBASE一起作为问答任务的依据。 输入输出 输入 输入文件包含若干行中文问句。 输出 输出文件每一行对应一个问题的答案列表，列表内元素以\t分隔。 输入样例 q1: 故宫附近有哪些豪华酒店？ q2: 紫竹院公园地址在哪？ q3: 朝阳区有哪些不收门票的公园？ 输出样例 北京王府井希尔顿酒店\t北京励骏酒店\t北京国际饭店\t北京东方君悦大酒店… 北京市海淀区中关村南大街35号 奥林匹克森林公园\t将府公园\t黑桥公园… 说明 为帮助参赛选手提高系统性能，训练文件会提供问题对应的SPARQL查询。 例句一对应的SPARQL查询语句如下： SELECT ?x WHERE { 故宫 附近??? ?x. ?x 类别 酒店. ?x 等级 豪华. } 例句二对应的SPARQL查询语句如下： SELECT ?x WHERE { 紫竹院公园 地址??? ?x. } 例句三对应的SPARQL查询语句如下： SELECT ?x WHERE { ?x 类型 公园. ?x 行政区 朝阳区. ?x 门票价格 免费. } SPARQL语言的语法规则可以参考 /TR/rdf-sparql-query/。原则上不要求生成SPARQL查询，参赛选手可以选择自己的方式，只需要给出问题的最终答案（答案需要来自给定知识库）。当问题所涉及的事实与知识库不一致时，以知识库中数据为准。 输出答案中由括起的为实体，由括起的为文本值。请严格按照问题顺序进行答案输出，若参赛系统对某一问题产生答案为空，请输出空行。 评价指标 本任务的评价指标包括宏观准确率(Macro Precision)，宏观召回率(Macro Recall)，Averaged F1值。最终排名以Averaged F1值为基准。设Q为问题集合，Ai为选手对第i个问题给出的答案集合，Gi为第i个问题的标准答案集合，相关计算公式如下： Macro Precision=1|Q|i=1|Q|P Macro