人工智能及其应用第10章 自然语言理解.ppt

第 10 章 自然语言理解及其应用 教材： 王万良《人工智能及其应用》（第2版） 高等教育出版社，2008. 6 第10章 自然语言理解及其应用 10.1 自然语言理解的概念与发展历史 10.2 语音分析 10.3 词法分析 10.4 句法分析 10.5 语义分析 10.6 基于语料库的大规模真实文本的处理 10.7 机器翻译 10.8 语音识别 第10章 自然语言理解及其应用 10.1 自然语言理解的概念与发展历史 10.2 语音分析 10.3 词法分析 10.4 句法分析 10.5 语义分析 10.6 基于语料库的大规模真实文本的处理 10.7 机器翻译 10.8 语音识别 10.1.1 自然语言理解的概念 微观角度：从自然语言到机器内部的一个映射。 宏观角度：使机器能够执行人类所期望的某种语言功能。 10.1.2 自然语言理解研究的产生与发展 1. 萌芽时期（20世纪40年代末50年代初） 第10章 自然语言理解及其应用 10.1自然语言理解的概念与发展历史 10.2 语音分析 10.3 词法分析 10.4 句法分析 10.5 语义分析 10.6 基于语料库的大规模真实文本的处理 10.7 机器翻译 10.8 语音识别 10.2 语音分析 文字表达句子的层次：词素→词或词形→词组或句子。 声音表达句子的层次：音素→音节→音词→音句。 语言处理过程分为五个层次：语音分析、词法分析、句法分析、语义分析和语用分析。 语用分析：研究语言所存在的外界环境对语言使用产生的影响。 构成单词发音的独立单元是音素。上下文不同而发音不同。 语音分析就是根据音位规则，从语言流中区分出一个个独立的音素，再根据音位形态规则找出一个个音节及其对应的词素或词。 10.3 词法分析 定义：从句子中切分出单词，找出词汇的各个词素 ，并确定其词义。 10.3 词法分析 例如：对于单词catches、ladies可以做如下的分析。 catches ladies, 词典中查不到 catche ladie 修改1：去掉s catch ladi 修改2：去掉e lady 修改3：把i变成y 这样，在修改2的时候，就可以找到catch，在修改3的时候就可以找到lady。 第10章 自然语言理解及其应用 10.1自然语言理解的概念与发展历史 10.2 语音分析 10.3 词法分析 10.4 句法分析 10.5 语义分析 10.6 基于语料库的大规模真实文本的处理 10.7 机器翻译 10.8 语音识别 10.4 句法分析 10.4.1 乔姆斯基的形式文法 10.4.2 句法分析树 10.4.3 转移网络 10.4.4 扩充转移网络 10.4.1 乔姆斯基的形式文法 1950年提出，表示形式：G = (T，N，S，P) T：终结符集合 N：非终结符集合 S：起始符 P：产生式规则集 10.4.1 乔姆斯基的形式文法 10.4.2 句法分析树 10.4.2 句法分析树 10.4.3 转移网络 例： 10.4.3 转移网络 10.4.4 扩充转移网络 ATN（augmented transition network ） ATN由一组转移网络组成：每个TN都有一个网络名，弧上的条件扩充为条件加上操作。由寄存器的方式实现。 10.4.4 扩充转移网络 短语（NP）的扩充转移网络 ： f→g A:Number←*.Number g→h C:Number←*.Number or Ф 第10章 自然语言理解及其应用 10.1 自然语言理解的概念与发展历史 10.2 语音分析 10.3 词法分析 10.4 句法分析 10.5 语义分析 10.6 基于语料库的大规模真实文本的处理 10.7 机器翻译 10.8 语音识别 10.5.1 语义文法 第10章 自然语言理解及其应用 10.1 自然语言理解的概念与发展历史 10.2 语音分析 10.3 词法分析 10.4 句法分析 10.5 语义分析 10.6 基于语料库的大规模真实文本的处理 10.7 机器翻译 10.8 语音识别 10.6.1 语料库及其特征 10.6.2 汉语自动分词方法 10.6.2 汉语自动分词方法 10.6.3 汉语词性的标注方法 10.6.4 汉语词义的标注方法 第10章 自然语言理解及其应用 1