哈工大人工智能课件chpt9.ppt

人工智能原理第9章 自然语言理解简介 本章内容 9.1 语言与通讯 9.2 句法分析与语法 9.3 概率语言模型 9.4 信息检索 9.5 信息抽取  9.6 统计机器翻译 参考书目 9.1 概述9.1.1 语言与通讯9.1.2 自然语言处理 语言与通讯 通讯是一种通过产生和感知信号带来的有意图的信息交换 / 信号来自一个由约定信号组成的共用系统 人类区别于其他动物的特征是语言—复杂的结构化信息系统 对智能体而言，产生语言的行动称为言语行为 “言语”=“言论自由”中的言论 言语行为的目的 通过言语行为达成联合规划： 询问其他智能体关于世界的信息—提问 相互通知关于世界的信息—陈述 请求其他智能体行动—指令(包括礼貌的间接言语行为、命令等) 应答请求 承诺或提出计划 宣言式言语行为—对世界有更直接的影响—诸如“现在我宣布……” 通讯的组成步骤 人类语言产生的目的—认知和通讯 / 典型的通讯情节—说话者S用词语集合W将关于命题P的信息通知聆听者H，包括7个过程 意图—S要把P告诉H 生成—P用W表示，H可判定P 合成—物理实现—语音/文字等 感知—H通过语音/文字识别等获知P 分析—可分为3部分：句法/语义/语用解释 排歧—H推断S的含义P 合并—H决定是否相信P 通讯过程 分析过程 分析分为3个子过程(人为划定—是否就是人类理解语言的过程？) 句法分析—为输入字符串建立句法分析树 语义解释—表示为某种表达式，如谓词逻辑 / 可能有歧义—此时存在多个表达式 语用解释—考虑到同样词语集合在不同情境下有不同含义 / 语用能为一个语句的最终解释给出更大贡献 有了3个子过程，分析仍然可能给出几个解释，排歧就是选择其中最好的一个 9.1.2 自然语言处理 What is NLP? 什么是自然语言处理（Natural Language Processing，NLP） 是用计算机通过可计算的方法对人类语言进行转换、传输、存贮、分析等加工处理的理论和方法。 构造计算模型，用于自然语言的分析、转换、生成。 其他名称： 计算语言学（Computation Linguistics） 自然语言理解（Natural Language Understanding，NLU） 人类语言技术（Human Language Technology） 相关名称： 中文信息处理（Chinese Information Processing） 网络信息处理（Web Information Processing） 基本概念 什么是自然语言 自然语言指人类使用的语言，如汉语、英语等。 语言是思维的载体，是人际交流的工具。 语言的两种属性－文字和声音 人类历史上以语言文字形式记载和流传的知识占知识总量的80％以上。 基本概念 什么是处理 处理是指对信息的接收、存储、转化、传送和发布等等操作 分级：字级处理、概念处理和智能处理 智能处理的主要研究领域：自然语言理解、计算机视觉、机器人学及知识工程 智能的未来发展，将会对知识库、专家系统、推理系统和神经网络等综合应用，达到能够模拟人类比较复杂的思维和行为 为什么要研究自然语言处理？ 信息时代到了！语言是信息的载体。 提高计算机的智能：能理解和处理大量语言信息。 机器能够理解人的语言吗？ 很难，但是没有证据表明不行。 什么是理解？ 结构主义：机器的理解机制与人相同。 问题在于谁也说不清自己理解语言的步骤。 功能主义：机器的表现与人相同。 图灵测试：如果通过自然语言问答，一个人无法识别和他对话的是人还是机器，那么就应该承认机器具有智能。 一个NLP的例子：英汉翻译 输入英文句子： Miss Smith put two books on this table. 形态分析(Morphological Analysis) 词形还原（Lemmatization）：将词还原为词典中的原型。 词汇符号化（Tokenization）：相当于中文分词。 分析结果： Miss Smith put two book+s on this table. 句法分析（Syntactic Analysis）：分析句子的结构。 词汇转换 Miss ? 小姐 Smith ? 史密斯 put (+ed) ? 放 two ? 两 book+s ? 书 on ? 在…上面 this ? 这 dining table. ? 餐桌 短语转换 小姐史密斯放两书在上面这餐桌 史密斯小姐放两书在这餐桌上面 生成 史密斯小姐放两书在这桌子上面。 史密斯小姐（把）两（本）书放在这（张）桌子上面。 最终翻译结果 英文： Miss Smith put two books on the table.