《自然语言处理》14-问答系统 .pptVIP

* 第14章 问答系统 14.1 问答系统概述 14.2 检索式问答 14.3 知识库问答 14.4 社区型问答 14.5 阅读理解式问答 知识库问答 知识库（知识图谱）是一种组织知识的有效手段，它使用结构化的形式描述了人们在认知世界中的有用信息。 知识库问答就是通过对问句的分析，识别用户的意图，进而在结构化知识库中通过检索、推理和聚合等手段得到问题的准确答案。 主要方法 基于语义解析的知识问答方法 基于语义匹配的知识问答方法 * （1）基于语义解析的知识问答方法 知识库系统包含描述性语言，如SPARQL，能够通过结构化查询方式获取信息。 普通用户难以掌握，需要专业知识和领域知识 基于语义解析的知识问答是通过把问句自动的转换为目标知识库相应的形式化语句，进而直接查询得到答案的过程，其核心步骤就是问句的语义解析（Semantic Parsing）。 * （1）语义解析研究 语义解析：把自然语言句子转化为符号化查询语句的任务，需要注意的是，不同任务领域中的符号化表示可能会有所不同。 Lambda-演算逻辑表达式：λx . city(x) Λ next_to(x, shanghai) 自由变量表达式(variable-free logical expression)：answer(state(next_to(shanghai))) … 最早从事句子（包括问句）语义解析工作的是美国得克萨斯大学奥斯汀分校的 Raymond Mooney 教授。 代表性理论 组合范畴语法(combinatory categorial grammar, CCG) * （有哪些城市靠近纽约） （1）组合范畴语法 自然语言句子转换为逻辑表达形式的一种常用工具 CCG包括两个主要部分： 语义辞典：将自然语言词语映射为知识库中的语义单元（实体、类别和关系） 语义词典把语义单元的句法和语义联系起来 语义组合规则：将小粒度的语义单元组合成大粒度的语义单元 把细粒度的语义单元组合成更大粒度的语义单元 * （1）组合范畴语法：辞典 辞典包括了语义组合过程中所需的全部语法信息。辞典中的每个项由词/短语、语法类别和语义类别组成。 一般地，可以把辞典项标记为格式w := s : l，它表示词/短语w具有语法类型s，同时相对应的语义表示为l。 语法类型s可以是原子类型（如NP），也可以是复杂类型A/B，其中A和B可以是原子类型也可以是其他复杂类型。 逻辑表示式l一般为给定知识库中的词汇加上逻辑符号（lambda演算）构成。 * （1）组合范畴语法：组合规则 组合规则规定了相邻辞典项如何组合（包括语法类型的组合和逻辑表达式的组合），该过程可以迭代进行。 * （1）组合范畴语法：辞典获取 原始标注数据：“句子-逻辑表达式对”，例如，句子：哪些城市靠近上海？，逻辑表达式：????. ????????(??)?????????_????(??,????_????????)。 需要句子的片段（如词、短语等）和细粒度的逻辑表达式之间的匹配关系，例如，词语“靠近”对应????.????. ????????_????(??,????_????????)，短语“哪些城市”对应????.????????(??)。 辞典获取方法 设计模板从“句子-逻辑表达式对”中构造辞典 基于词对齐等方法学习不同语言符号之间的符号对应 基于高阶合一操作（higher-order unification）把完整的逻辑形式切分成子逻辑表达式的组合 基于关联统计分析自动获取自然语言词语与知识库中符号的对应（主要是短语与知识库中“类”和“关系”的对应） * （1）组合范畴语法：组合消岐 语义组合的歧义性 一个短语可能对应多个语义单元 辞典项之间可能满足多项组合规则 一个问句可能产生多个分析结果（树） 概率化组合范畴语法模型（PCCG） 计算句子S最可能转换成的对应逻辑表达式L 其中，一个逻辑表达式L可能由多个解析树T产生，生成逻辑表达式L的概率由所有生成该结果的分析树生成概率的累加得到，??是概率模型的参数。可以采用对数线性模型（log-linear models）建模该结构化预测问题。 * （2）基于语义匹配的知识问答方法 基于语义匹配的知识问答技术把知识库问答问题转化为语义匹配相似度计算问题，根据自然语言问句和知识库中候选答案的匹配程度给出答案。 具体流程：先识别问句中的主要实体，根据知识图谱的结构遍历相关实体，可以认为答案就在相关实体集合（即候选实体集合）中，最后匹配问题和候选答案实体进而获得正确答案。。 * （2）基于语义匹配的知识问答方法 * （2）基于语义匹配的知识问答方法 * （3）常用数据集及评价方法 常用数据集 常用评价方法 把问答可以看成一个排序问题，评价指标包括