第七讲——自然语言理解.docx

什么是语言相信大多数同学都有过和计算机对话的经历，我们这个苹果手机上搭载了SIRI，我们的微信上也有一些公众号，它们能够在一定程度上跟我们进行文字交流。可见计算机能够理解自然语言，也就是我们人类的语言，使得我们觉得人工智能更加的平易近人了。今天我们就来详细的聊一聊自然语言理解这门技术，语言是人类区别其他动物的本质特性之一。在所有生物中，只有人类才具有语言能力。当然，我们话不能说的这么绝对。语言：语言是人类区别其他动物的本质特性。在所有生物中，只有人类才具有语言能力。人类的多种智能都与语言有着密切的关系。人类的逻辑思维以语言为形式，人类的绝大部分知识也是以语言文字的形式记载和流传下来的。因而，它也是人工智能的一个重要，甚至核心部分有些报道说猩猩也会一定的语言，2004年的报道中，美国有只猩猩啊，说是会1000个单词的手语，可以和人类通过手语交流，这个猩猩发音好像由于构造原因不能发那么多复杂的音节，但人家不傻，可以用手语交流，不禁让老师感叹也许这个人猿星球中的未来，还真说不准什么时候就会到来。但不管怎么说，这个语言是高级智能的一种最直观的反应。人类的逻辑思维以语言为形式，人类的绝大部分知识也是以语言文字的形式记载和流传下来的。因此，它是人工智能的一个重要，甚至是核心的一个部分。当然，这门技术不光光是用在人机交互这个功能上。我们用机器翻译的时候就需要用到自然语言理解的技术，未来如果这门技术发展到非常成熟了，我们就不需要学四六级了，不管去什么国家，带个电脑做翻译，?你说一句中文，它说一句英语。这种工具在很多的科幻片里面都出现过。非常的方便，但是现在大家还是要好好学英语，因为这个技术现在还不够成熟，大家可以期待我们的后代能够免去学习外语的痛苦。但是话说回来，我们这节课还真要用到一些英文，因为传统的自然语言理解的就是建立在英文的基础上的。大家似乎没法回忆自己是如何掌握第一门语言了吧？也就是中文的学习过程，但英文的学习过程大家应该都还记得比较清楚，很多同学可能从小学就开始学英文。可见学习一门语言其实是蛮难的一件事。我们人学习语言最难是什么？有人说是语法，有人说是单词量。但有一点，大家会不会很好奇，那就是计算机可以瞬间记住一本词典，也可以瞬间就背下所有的语法，那为什么它理解语言就那么难呢？觉得计算机学习语言容易的学者，在计算机刚刚流行的时候特别的多，那时候很多专家认为，用不了多长时间，计算机就能和人类自如的交流。但后来很多事实证明，我们之前太高傲了，也太小看自然语言了。自然语言理解已然成为了人工智能中最难攻破的难点之一。为什么电脑理解语言这么的难呢？我们首先要知道啊这个语言的理解不仅仅是背单词和背语法那么简单，我们的自然语言理解是有二义性的，这种从各个层次上广泛存在的各种各样的歧义性或多义性是造成困难的根本原因，比如说：?例：冬天，能穿多少就多少； 夏天，能穿多少就多少。?例：剩女产生的原因有两个：一是谁都看不上（看不上别人） 二是谁都看不上（别人看不上她）?例：单身人的由来：原来是喜欢一个人（别人） 现在是喜欢一个人（独身）这种例子你给计算机，估计要晕菜了。要理解这种句子，不但需要对词汇了解，还要断句，还要联系上下文的语境，从这个角度说，英文的机器理解较中文还要简单一点。中文这个断句实在是一个非常难的地方。这也是很多老外啊，在学习中文时候，非常崩溃的地方。比如，南京市?长江大桥??和?南京市长?江大桥还有自然语言中经常用到了一些修辞手法，例如，讽刺，暗喻，夸张，排比，反问等等。还有诸多俚语，也就是方言，就更难理解了。比如这是老师看到网上流传的中文六级考题：小明和小强正在谈论小红，这时小红走了过来，小明对小强说：“说曹操曹操就到。”问：谁到了？　A.小明B.小强C.小红 D.曹操?上司：“你这是什么意思？”小明：“没什么意思。意思意思。”上司：“你这就不够意思了。”小明：“小意思，小意思。”上司：“你这人真有意思。”小明：“其实也没有别的意思。”上司：“那我就不好意思了。”小明：“是我不好意思。”请问以上“意思”分别是什么意思？这些题目啊，就更加场景化，你必须还要了解中国的一些国情，才有可能能够明白，这种题目，对老外来说简直就是梦魇一般。更有甚者。比如中国的古文古诗，连我们自己都难都要专门的学习很久的时间才能学懂，比如这首《施氏食狮史》全是由一个音节组成，简直是丧心病狂。石室诗士施氏，嗜狮，誓食十狮。氏时时适市视狮，十时，适十狮适市，是时，适施氏适市，施氏视是十狮，拭矢试，使是十狮逝世，适石室，石室湿，氏使侍拭石室，石室拭，始食是十狮尸，始识是十狮尸，实十石狮尸，试释是事。所以说，人尚且如此，何况机器呢？但是没办法，这个自然语言理解的需求实在是太大了，虽然任务艰巨，学者们还是尝试解决这个问题。词法分析我们现在就来看一下，我们人工智能领域是如何