109-对话系统之经典的对话模型【萌萌家】.pdf

109|对话系统之经典的对话模型

2018-05-11洪亮劼来自北京

《AI技术内参》

在文本分析这个重要的环节里，我们已经分享了Word2Vec模型，包括模型的基本假设、模

型实现以及一些比较有代表意义的扩展模型。我们还讨论了基于深度学习的文本分析模型，特

别是对序列建模的深度学习利器RNN，包括RNN的基本框架，流行的RNN模型实现，以

及RNN在自然语言处理中的应用场景。

今天，我们要来看另外一类和文字相关的人工智能系统——对话系统的一些基础知识。

浅析对话系统

对话系统在整个人工智能领域、甚至是计算机科学领域都占据着举足轻重的地位。著名的人工

智能测试，“图灵测试”，其实就是建立在某种意义的对话系统上的。在经典的图灵测试场景

中，一个最主要的论述就是：看一个人和一个机器进行对话，在和这个机器系统的问答过程

中，能否猜出这个系统是一个真人还是一个计算机程序系统。从这一点可以看出，即便是在计

算机科学的早期，对话系统或者说是智能的对话能力，就已经成为了计算机科学家衡量智能水

平的一个重要标准。

实际上，从上个世纪50~60年代开始，研究人员就致力于研发早期的对话系统。即便是在今

天看来，在一些简单的应用中，早期的对话系统也表现出了惊人的“智能”。比如，麻省理工

大学的约瑟夫·维森鲍姆（JosephWeizenbaum）教授研发了一款叫“伊丽莎”（Eliza）的

早期对话系统。尽管这个对话系统只能对语言进行最肤浅的反馈，但是在“伊丽莎”系统的使

用者中，有人真的产生了这个系统有智能的幻觉。这说明对于如何界定“智能”，如何理解对

话以及语言能力，这些的确是非常深邃的计算机科学乃至哲学问题。

早期的对话系统多是基于“规则”（Rule）的系统。这些系统的一大特征就是，并不只是真

正的去“理解”对话，“理解”文字，而是针对某一种模式，或者说是预定好的模板，对对话

进行简单的模仿。不过，如果你认为这样基于规则的系统在今天的对话系统中毫无用武之地的

话，那就大错特错了。实际上，通过机器学习的手段辅以规则的方式，这样的系统能够在绝大

多数的场景下表现出惊人的水平。很多机器学习背景的工程师在接触对话系统研发的时候，其

实往往有轻视规则系统的这种情况。

从基于统计学习的机器学习崛起以后，研发人员就开始希望利用自然语言处理和机器学习的一

系列方法，从根本上来改变对话系统的构建方式，其中有一个核心的想法，就是真正理解对话

的内容，从而达到真正的智能。在实际的应用中，真正基于机器学习的系统在很长时间里都并

不能完全代替基于规则的系统，直到最近几年出现了更加复杂的基于深度学习的模型，我们也

会在之后的分享中对这样的系统进行一些介绍。

对话系统的类别

从方法上，对话系统可以大致分为“基于规则的系统”和“基于机器学习的系统”。除此之

外，从应用场景上，对话系统也可以分为“基于任务的对话系统”和“非任务的对话系统”。

基于任务的对话系统其实很容易理解，比如我们打电话到航空公司查询订票，打电话到酒店查

询订房信息，抑或打电话到餐厅预定晚餐等。这样的对话系统有一大特点，就是我们的对话基

本上都有一个明确的目的，或者说我们要完成一个“任务”（Task）。比如对于查询机票而

言，通常情况下，我们的任务可以是成功查询到机票信息，或者成功预订了到某个目的地的机

票。

对于基于任务的对话系统而言，整个对话的“范畴”是限定好的，很多任务其实都有流程或者

叫作“套路”可以参考。因此，从本质上来说，基于任务的对话系统还是相对比较容易的场

景。在对话系统发展的历史中，很长时间里，基于规则的系统其实就已经可以对于基于任务的

对话系统提供很高质量的服务了。很多用户针对基于规则的系统来应对任务型对话系统，往往

会觉得系统缺乏一定的灵活度，但其实已经可以完成任务了。实际上，即便是今天的各类智能

对话系统，对于任务型对话系统的支持依然是这些智能系统的核心业务能力。

另外一类对话系统，就是非任务型对话系统，这类系统的一个代表就是“聊天机器人”

（Chatbot）。聊天机器人，取决于我们构建这类系统的目的，可以非常接近于任务型的对话

系统，也可以是非常难以模仿的，真正具有一定语言理解能力的系统。

典型的聊天机器人，需要对一定的知识库进行建模。比如，当用户问到今天的天气，喜马拉雅

山的高度，现在美国的总统是谁等问题，聊天系统要能从某种先前存储的知识库中提取信息。

这一部分的功能其实和数据库信息查询很类似。

更加复杂的模式无疑是我们不仅需要对已经有的信息进行直接的查询，还需要进行“推论”

（Inference）。这就是“智能”的某种体现，往往是能对现有