第1讲统计自然语言处理概论.pptVIP

统计自然语言处理与信息检索 孙越恒 天津大学网络智能信息计算研究所 目录 概述--NLP的概念、历史与现状 NLP的研究内容 NLP研究的困难 NLP方法论之争 统计方法示例 本课的主要内容 抛砖引玉 一、NLP的概念 1. 什么是自然语言 以语音为物质外壳，由词汇和语法两部分组成的符号系统。《新华词典》 语言是人类交际的工具，是人类思维的载体 是约定俗成的，有别于人工语言（程序设计语言） 什么是自然语言处理 – NLP, Natural Language Processing – 用机器处理人类语言的理论和技术 – 研究在人与人交际中以及人与计算机交际中的语言问题的一门学科。NLP要研制表示语言能力和语言应用的模型，建立计算框架来实现这样的语言模型，提出相应的方法来不断完善这样的模型，并根据语言模型设计各种实用系统，以及对这些系统的评测技术。 --Bill Manaris, 《从人机交互的角度看自然语言处理》 其它名称 – 自然语言理解(Natural Language Understanding) – 计算语言学(CL, Computational Linguistics) – 人类语言技术(Human Language Technology) 从智能接口到知识处理 ? 智能接口 – 功能： ? 把现实世界中的语言信息送入电子世界 – 主要成果 ? 拼音输入、手写输入、语音识别 ? 知识处理 – 功能： ? 对于已进入电子世界中的语言信息进行加工处理获得知识 – 主要研究内容 ? 媒体的加工和管理、语言信息处理 机器能够理解人的语言吗？ 很难，但是没有证据表明不行 什么是“理解” – 结构主义：机器的理解机制与人相同 ? 问题在于谁也说不清自己理解语言的步骤 – 功能主义：机器的表现与人相同 ? 图灵测试：如果通过自然语言的问答，一个人 无法识别和他对话的是人还是机器，那么就应 该承认机器具有智能 有用否？能用否？ ? NLP有用吗？ – 据统计，日常工作中80%的信息来源于语言 – 文本是人类知识最大的存储源，并且文本的数量 在不停地增长 ? 电子邮件、新闻、网页、科技论文 ? NLP能用吗？ – 并非每一样语言处理的应用都需要深层理解 – 中间产品陆续产生 – 成功应用的实例 ? word中英文自动校对 ? 搜索引擎 ? Google在线翻译 2. NLP的性质 ? NLP需要的知识非常复杂 语言学、计算机科学、数学、逻辑学、认知科学等 ? 理解语言的过程是动态的，不是静态的 ? NLP需要的知识大多是归纳的，不是演绎的 ? 存在Upper Bound（上限） ? 对歧义的限制和系统的覆盖率矛盾 ? 领域词典不充分 3. NLP的历史 ? 20世纪50年代起步 – 机器翻译 ? 50-60年代采用模式匹配的方法 – 60年代衰落 ? 70-80年代采用面向受限域的深入理解的方法 ? 90年代至今统计方法占主流 – 随着互联网的发展而复苏 – 互联网为NLP提供了市场需求和试验数据 4. NLP现状 ? 仍然缺乏理论基础 ? 词汇句法方面的问题尚未解决，已开始挑战语义、 知识等深层课题 ? 语音识别中采用的统计语言模型推动了NLP的发 展，目前的统计模型在向语言深层发展 ? Ontology受到普遍重视 ? 开放域处理时起时落 ? 一切才刚刚开始…… 二、NLP的研究内容 自然语言处理的科学内容 ? 语言学的任务 – 刻画和解释语言现象 ? 人类是如何获取和理解语言的 ? 理解语言和世界的关系 ? 理解语言在通讯时的结构和内在含义 ? 人们在说些什么 – 覆盖语言结构的各个方面 ? 人们说的事情和世界怎样联系在一起 2. NLP的不同层次 3. 基础研究 （1）词法分析 词法分析的主要目的是找出词汇的各个词素，从中获得语言学信息。词法分析是很多中文信息处理任务的必要步骤。 自动分词（中文分词） 词性标注 短语识别 分词：中文词与词之间没有明显的分隔符，使得计算机对于词的准确识别变得非常困难。因此，分词就成了中文处理中所要解决的最基本的问题，分词的性能对后续的语言处理如机器翻译、信息检索等有着至关重要的影响。随着对中文处理关注程度的增加，国际计算语言联合会 (ACL) 下设的汉语特别兴趣 (SIGHAN) 研究组每年举办国际汉语分词评测大赛。 （2）句法分析 句法分析是对句子结构进行分析，如句子的形式结构：主语、谓语、宾语