物联网智能技术课件作者张文宇李栋11.第十一章节.pptVIP

尚辅网 / 物联网智能技术 第11章 自然语言与感知 第11章 自然语言与感知 11.1 自然语言理解的概念和发展过程 11.2 自然语言理解研究的关键问题 11.1 自然语言理解的概念和发展过程 11.1.1 自然语言的概念 自然语言在这里指的是人类进行交际所使用的语言。 自然语言相对机器语言的的特点，主要表现在下面四个方面： * 11.1 自然语言理解的概念和发展过程 自然语言理解又被称为自然语言处理或计算机语言学，它是人工智能领域中的前沿难题之一，是研究计算机如何理解人类语言的学问。 自然语言理解主要有两种途径: * 11.1.2 自然语言理解的概念 11.1 自然语言理解的概念和发展过程 * 11.1.2 自然语言理解的概念 其中，语法分析又可分为词法分析和句法分析 11.1自然语言理解的概念和发展历史 * 11.1.3 自然语言的发展历史 对于自然语言理解的研究工作最早可以追溯到上个世纪四十年代。 1956年，人工智能诞生以后，自然语言处理迅速融入了人工智能的研究。 70年代初，由于自然语言处理研究中的一些问题未能在短时间内得到解决，而新的问题又不断地涌现，自然语言处理的研究进入了低谷时期。 80年代，在人们对于过去的工作反思之后，有限状态模型和经验主义的研究方法开始复苏。 11.1自然语言理解的概念和发展历史 * 11.1.3 自然语言的发展历史 90年代以后，随着计算机的速度和存储量大幅增加，语音和语言处理的商品化开发成为可能；同时，网络技术的发展和1994年Internet商业化使得基于自然语言的信息检索和信息抽取的需求变得更加突出。 从20世纪90年代末到21世纪初，人们逐渐认识到，仅用基于规则的方法或仅用基于统计的方法都是无法成功进行自然语言处理的。 目前，自然语言理解研究已经取得了令人瞩目的成绩，在某些方面的研究成果已达到了实用化的程度，但自然语言理解并未取得根本性的突破。 11.1自然语言理解的概念和发展历史 目前在技术上还面临着艰巨的挑战 * 11.2 自然语言理解研究的关键问题 * 11.2.1 词法分析 11.2 自然语言理解研究的关键问题 * 11.2.1 词法分析 汉语自动分词从本质上可将它们归为两类： 由于这两类都存在切分错误，需要进行人工干预，因此，它们又可进一步归纳为： （1）机械分词+歧义校正。 （2）知识分词+人工干预。 11.2 自然语言理解研究的关键问题 * 11.2.1 词法分析 知识分词不仅利用知识的范围更广，而且还利用人工智能技术进行推理，并且将分词与“歧义校正”合为同一过程，而不是像机械分词加歧义校正法那样先分词再校正。此外，知识分词中的分词程序和知识库设计更具相对独立性，有利于知识库的维护。 自动分词算法 双向匹配法 改进的正向最大匹配法 要提高词法分析的准确性，需要在其过程中注意以下问题 （1）切分排歧 （2）未登录词识别 （3）词性消歧 11.2 自然语言理解研究的关键问题 * 11.2.2句法分析 句法分析是自然语言理解的关键步骤，它是对句子中的词语语法功能进行分析，是把句子的词语序列映射为句法成分的层次结构，目前主要的句法理论有： 11.2 自然语言理解研究的关键问题 * 11.2.3语义分析 语义分析的作用主要有三个方面： 理清句子的语义结构 把句子的各个构成成分的语义组合成为一个完整的句子的语义，并把它映射为一个由形式语言来表示的语义表达式 说明句子中词语搭配上存在的各种语义限制条件 目前提出的语义理论主要有义素分析法、格语法、语义网络、优选语义学、蒙格塔语法等 11.2 自然语言理解研究的关键问题 11.2.4 语言的自动生成 自然语言生成(（Natural Language Generation）是人工智能和计算机语言学的分支，是生成可理解文本的系统计算机技术。 生成过程一般分为两个阶段： 建立一种结构，以表达出需要交流的信息 以适当的词汇和一定的句法规则，把要交流的信息以句子形式表达出来 * 11.2 自然语言理解研究的关键问题 11.2.4 语言的自动生成 常见的自然语言生成技术有如下几种： 模板生成技术(Template-based Generation) ，又称Schema技术 模式生成技术(Schema-based Generation)Schema技术是基于语言学中的修辞谓词(Predicate)来表达文本结构的一种方法 短语/规则扩展技术 属性特征生成技术 * 本章小结 本章共分为两大部分，第一部分介绍自然语言理解的基本概念以及发展历程，包括：自然语言的概念、自然语言理解的概念以及人们对自然语言理解研究的发展历程。第二部分是本章的重点部