中科大自然语言理解1.ppt

机器如何理解自然语言？(2) 编译器工作过程 例子： 词法分析 将输入的字符流切分为token序列。 语法分析： 句子结构分析。 语义分析： 检测语义错误。 机器如何理解自然语言？(3) 编译器 例子： 中间代码生成 生成中间表示。 代码优化： 改进中间代码，以产生更高效率的机器代码。 目标代码生成 生成可重新定位的机器代码或汇编代码。 机器如何理解自然语言？(4) 机器理解自然语言的步骤 文本预处理 句子切分 形态分析 分词 词性标注 句法分析 词义消岐 语义分析 语用分析 篇章分析 海量文档处理 机器如何理解自然语言？(5) 文本预处理： 文本采集 文本格式转换：PDF、Office、HTML?纯文本 文本编码识别、转换：GB、Big5、Unicode。 句子切分 句子边界识别 例如：Mr. Wang likes swimming, dancing and reading. 形态分析： 研究构词方法，词的有意义的组合。 构词的基本单位：词素（词根、前缀、后缀、词尾） 例如：老虎← 老＋ 虎； 图书馆← 图＋ 书＋ 馆 例如： work + er → worker do + ing →doing 机器如何理解自然语言？(6) 分词 将句子切分为词序列 例如：钓鱼岛/是/中国/的/领土/。 词性标注 给句子的词标注正确的词性 例如：钓鱼岛n/是v/中国n/的de/领土n / 。　 句法分析 分析句子的组成结构， 句子结构成分之间的相互关系。 判定一个句子的合法性 机器如何理解自然语言？(7) 词义消岐 研究给句子的词标注正确的词义。 例如：这个人真牛。//牛：动物｜了不起。 语义分析（这句话说了什么） 研究如何从一个语句中词的意义，以及这些词在该语句的句法结构中的作用来推导出该语句的意义。 语言和世界的映射关系 施事、受事、工具等 语用分析（为什么要说这句话 ） 研究不同语境中的语句的应用，及语境对语句理解的作用 语言交际目的：主题、述体、焦点 机器如何理解自然语言？(8) 篇章分析 分析篇章的结构、主题、观点、摘要、有用信息。 主题分析 观点分析 自动文摘 信息抽取 信息过滤 海量文档处理 信息检索 搜索引擎、数字图书馆 文本分类、聚类 分类检索、聚类检索 话题探测与追踪 信息自组织 语言理解系统的评价 黑箱评价(图灵测试) 白箱评价 图灵测试 图灵测试 – 用于判断“机器是否具有智能” – 一个封闭的小屋 – 屋外有一个人 – 屋内有一个人或者一台计算机 – 屋外的人并不知道屋内的是人还是计算机 – 屋外的人向屋内的人或者计算机提出各种问题 – 屋外的人根据回答来判断屋内是人还是计算机 – 如果判断不出来，那么可以认为计算机具有了智能 一个例子 User: Men are all alike. They’re always bugging us about something or other. Well, my boyfriend made me come here. He says I’m depressed much of time. It’s true, I am unhappy. I need some help; that much seems certain. Perhaps I could learn to get along with my mother. My mother takes care of me. My father. You are like my father in some ways. ELIZA: In what way? Can you think of a specific example? Your boyfriend made you come here. I am sorry to hear you are depressed. Do you think coming here will help you not be unhappy? What would it mean to you if you got some help? Tell me more about your family. Who else in your family takes care of you? Your father. What resemblance do you see? 自然语言理解讲义 第一章 绪论 基本概念(1) 自然语言理解(Natural Language Understanding, NLU) 通过建立形式化的数学模型来分析、处理自然语言，并在计算机上用程序来实现分析和处理(自然语言)的过程，从而达到以机器(计算机)来模拟