自然语言处理中模式匹配与对话系统.pdfVIP

S语音与语言处理。DanielJurafsky和JamesH.Martin著。c2014。All

r。草稿。

第

2正则表达式、文本归一化、编辑距

离

用户：你在某些方面很像我父亲。ELIZA：你看到什么相似之处？用户：

你不是很主动，但我认为你不想让我注意到这一点。ELIZA：你为什么认

为我不是很主动？用户：你从不和我争论。ELIZA：你为什么觉得我不和

你争论？用户：你害怕我。ELIZA：你相信我害怕你，这让你高兴吗？

Weizenbaum（1966）

ELIZA上面的来自ELIZA，这是一款早期的自然语言处理系

统，它可以通过模仿派心理治疗师的回应，与用户进行有限的

(Weizenbaum,1966)。ELIZA是一个简单的程序，它使用模式匹配来识

别像“你是X”这样的短语，并将其转换为合适的输出，例如“让你觉得

我是X？”这种简单技术在该领域取得了成功，因为ELIZA实际上不需要知道任

何东西就能模仿派心理治疗师。正如Weizenbaum所的，这是为数

不多的一种类型，听众可以表现得好像对世界一无所知。尽管如此，

ELIZA对人类的模仿却异常成功：许多与ELIZA互动过的人开始相信它真

的理解他们及其问题，即使在程序的运行原理被解释给他们，其中许多人仍

然继续相信ELIZA的能力(Weizenbaum,1976)，甚至直到今天，这种机器人

依然是一种有趣的消遣方式。

机器人

当然，现代远不只是消遣的工具；它们可以回答问题、预

订航班或查找餐厅。为了实现这些功能，它们需要更深入地理解用户的意图，

在第24章中详细讨论。尽管如此，驱动ELIZA和其他机器人的

简单模式匹配方法在自然语言处理中仍起着至关重要的作用。

首先介绍描述文本模式的最重要工具：正则表达式。正则表达式

可用于指定我们可能希望从文档中提取的字符串，从上面Eliza中的“你是

一个X”转换，到定义像$24.99这样的字符串，以便从文档中提取价格表。

文本归一化然后转向一组统称为文本归一化的任务，其中

正则表达式扮演着重要的角色。文本归一化是指将文本转换为更方便、更的形式。

例如，我们对语言所要进行的大部分处理都依赖于首先将单词从连续的文本中分离出

来，即进行所谓的分词，这个任务称为分词处理。英语单词通常彼此之间

分词

通过空格进行分割，但空格并不总是足够。纽约和摇滚’n’摇滚有时会被当作一

个大词，尽管它们中间包含空格；而有时我们又需要将I’m拆分成两个词I和a

m。在处理推文或时，我们需要将表情符号如:)或如#自然语言处理进

行分词处理。一些语言，如中文，词与词之间