智能问答系统研究综述.PDFVIP

智能问答系统研究综述 清华大学语音与语言技术中心 骆天一 1 研究意义 从早期的图书馆检索系统、专家系统到现在的搜索引擎，快速并准确的获取信息一直是 人们梦寐以求的追求目标，尤其是在信息浩如烟海的互联网时代。随着时代的发展，一方面 数据的量级已从TB 发展到PB 乃至ZB ，可以称之为海量数据；另一方面，用户的需求越来 越精细化、多样化，基于关键词组合或者基于浅层语义分析的检索系统越来越不能满足用户 的需求，智能问答系统通过将数据经过深度加工处理形成具有某种固定结构的知识库，并通 过最先进的自然语言处理技术解析用户的需求，从而快速地、准确地为用户提供所需要的信 息。 智能问答系统及其相关领域的研究具有重要的研究价值。智能问答系统涉及的领域很广， 其中主要关键技术有知识的抽取和表示，用户问句的语义理解和通过知识推理得到答案。这 些领域都需要进行深入研究我们才会得到更好的智能问答系统。而无论我们在任一领域取得 重大的突破，不仅仅对于智能问答系统，而且对于其它领域，包括文本分类、推荐系统等都 会有相当大的促进作用。 另一方面，智能问答系统也具有重大的实际应用价值。能够快速准确地找到信息可以让 人们的生活变得非常便利，例如：查询天气，股票价格，飞机航班情况等。而且更让人激动 人心的是智能问答系统可以部分地替代人工劳动，例如替代人工客服对客户进行自动回答， 可以大大减少企业的人力成本。 2 智能问答系统的发展简史 智能问答系统已经有70 年的发展历史。早期的智能问答系统大多针对特定的领域而设 计，并且数据量也很有限，不容易进行扩展，例如：Baseball[1]和 Lunar[2] ，这些诞生在上 世纪五六十年代的智能问答系统通常只接受特定形式的自然语言问句，而且可以供智能问答 系统进行训练的数据也很少，所以无法进行基于大数据的开放领域的问答从而未被广泛使 用。进入九十年代之后，由于互联网的发展，大量可供训练的问答对在网上可以被搜集和找 到。尤其是TREC-QA[3]评测的推出，极大推动促进了智能问答系统的发展，研究人员在该 语料库上训练和测试各种问答模型，先后提出了基于逻辑推理的方法[4]，基于模板匹配的方 法[5]，基于机器学习的方法[6]和基于数据冗余性的方法[7]等许多领先方法。在此阶段，人 们主要利用信息检索或浅层语义理解技术去从大量候选集中寻找答案从而构建智能问答系 统，故检索式问答技术取得了巨大发展。但是检索式问答技术存在一个缺陷，就是答案中一 定至少包含一个用户问句中含有的字或者词，但是这在实际情况中往往是不成立的。虽然浅 层语义理解技术部分解决了这个问题，但是由于用户问句是自然语言，自然语言有着天然的 复杂性，由于存在着以上缺陷，检索式问答技术不能真正很好地解决用户的需求。一直以来， 阻碍智能问答系统向前发展的两个最主要因素是缺乏高质量的数据和强大的自然语言处理 技术，不过随着维基百科，百度百科，搜狗百科这些基于用户协同生成内容的互联网应用的 兴起，越来越多的高质量数据被积累和得到。基于此，大量的被精心设计以自动或半自动方 式生成的知识库 （例如Freebase 、YAGO 、DBpedia 等）被建立起来。至于另一个问题，随 着统计机器学习方法的兴起，自然语言处理技术各个子领域都取得了很大的进步，可以说阻 碍智能问答系统最大的两个问题正在被科研人员逐步解决。近年来，智能问答系统取得了很 大的发展和进步，已经有很多智能问答系统产品问世。例如 IBM 研发的智能问答机器人 Watson 在美国智力竞赛节目《Jeopardy!》中战胜人了选手，其所拥有的DeepQA 系统集成 了统计机器学习、信息抽取、知识库集成和知识推理等深层技术。苹果公司的Siri 系统和微 软公司的cortana 分别在iPhone 手机中和Windows10 操作系统中都取得了很好的效果。在 国内，众多企业和研究团体也推出了很多以智能问答技术为核心的机器人，例如：微软公司 的“小冰”、百度公司的“度秘”和中科汇联公司的“爱客服”，我们可以看到，这些机器人不仅 提供情感聊天的闲聊功能，而且还能提供私人秘书和智能客服这样的专业功能。这些智能系 统的出现标志着智能问答技术正在走向成熟，预计未来还会有更多功能的机器人问世和解决 用户的各种需求。 3 智能问答系统的研究前沿 尽管已经取得了令人瞩目的成就，但是智能问答系统还远未完美，智能问答系统涉及的 领域很广，其中主要关键技术有知识的抽取和表示，用户问句的语义