为了读懂你，AI究竟有多努力？.pdf

为了读懂人类语言表达的意思以及捕捉文字背后的情感，人工智能的对话系统都进行了哪

些改进与发展呢？本文将以此为题展开分析说明。

今天我们不聊算法，也不聊数学，写一篇人人都能看懂的小学生作文。

01

1966年，来自麻省理工学院的计算机科学家JosephWeizenbaum发布了一款名为

“ELIZA”的聊天机器人。Eliza的知识范围有限，只能和特定领域的人聊天。但是在

Eliza刚出现时，很多用户认为他们是在和真人对话。注意看以下这段对话：

从以上对话来看，很难不被认为是一名已婚妇女在向她的心理医生大吐苦水，没有人会认

为这是一次人机交互的对话。但实际上，ELIZA并没有尝试去理解用户的输入是什么意思

。

如果你细心看对话的内容你会发现，ELIZA经常在复述用户说过的单词。它的实现方式很

聪明，主要是采用一种“将计就计”的策略，将用户的陈述重新表达为问题并返回给用户

。

尽管这些对话都是通过规则匹配方式实现的，但是一些巧妙的关键词提取可以让它比较自

然地接话，让用户觉得眼前的这个“人”具有共情能力。ELIZA甚至被用来假冒过心理医

生，并且有许多和它对话过的人都不相信这只是一个程序。

在我看来，虽然ELIZA只是浑水摸鱼，重复叙述者所说的内容，但是它的出现，对后续聊

天机器人的设计思路有很大的启发。通过规则匹配不能让机器人很好地引导交互对话，但

是却能够满足任务式对话的需要。

时间来到了1995年，一名叫RichardS.Wallace的科学家观察到一个现象。他发现组成

人们日常谈话主题的句子不过几千句，如果他做一个对话机器人，想要覆盖所有的日常用

语，甚至包括一些不常用的话语，大概只需要4万个回答就足够了。只要将这些问答结果

全部输入到程序中，那么它就可以回应95%以上的日常对话了。

说干就干，于是诞生了一款名为“ALICE”的聊天机器人。我们看看这款机器人的对话过

程：

这次的对话就更加像是两个真人之间的交流了，而且也看不到ALICE在复述对话者的内容

，而是尝试与之交谈，甚至在言语中透露出一点小个性出来。

ALICE就像是ELIZA的加强版，使用更大的语料库，使用更先进的关键词匹配技术，甚至

是好几个答案对应一个问题，可以随机显示或者根据逻辑判断，选出合适的答案。这样就

显得回答不会那么死板，更像是真人之间的交流。实现思路虽然很简单，但这种方式已经

能够满足大多数任务型对话的场景。

自从苹果公司在2011年发布Siri以后，多个智能个人助理（IPA）出现并且进入市场，

比如谷歌助手、微软的Cortana以及亚马逊的Alexa等等。

除了物料库、匹配逻辑的进一步升级以外，这类个人助理还可以访问手机里的多个数据源

，如音乐、电影、日历、电子邮箱和个人资料。因此它们可以提供不同场景下的大量服务

，例如播放音乐、查天气、拨打电话、发短信等等，都是这类IPA的基操。

虽然以上对话看起来已经很智能了，但总觉得差了点什么。Siri仅仅是在接收指令，然后

给出反馈，其实也没有理解我们在说什么，甚至很难去分析我们的要求。

当我询问Siri最近有什么好看的电影时，它没办法直接回答，只能根据我的问题到网路上

检索然后反馈结果。虽然这种交互已经能够满足我们日常大部分任务式对话，但是距离我

们所想的“智能”好像还是有一些距离。

02

为什么让机器理解语言这么难？主要是因为以下两方面的原因：

1.一方面是因为语言的规律错综复杂，不是用简单的统计就可以计算出概率的。不同的语

言之间语法结构不用，并且同一种语言对于同一个意思有不同的表达方式，同一个表达也

可能有不同的理解。我们去建立一个语料库相当于重新为人类语言建立一个百科全书，工

作量十分巨大；

2.另一个方面的原因是使用语言有特定的语境。语言是在特定的环境中，为了生活的需要

而产生的，所以特定的环境必然会在语言上打上特定的烙印。

例如“百度”原本是一家企业的名字，但是经过该企业的市场教育后，大家想说“搜索一

下”时，很自然就说成了“百度一下”。这时候这个名词就赋予了一个新的特定动作，这

些都是让计算机难以理解的表达方式。

以上原因都说明，仅仅让计算机能够理解人类的语言已经是一件非常具有挑战性的事情。

如果我们用统计的方式去实现“理解”，让计算机通过配对的方式计算适合输出的语句，

由于语言的不规律性和组合性会产生非