统计自然语言处理概述-Read.PDF

统计自然语言处理概述 刘 挺 哈工大信息检索研究室(HIT-IRLab) 2004年春 目录 • 概述 • 一个NLP 的例子 • NLP的困难 • NLP方法论 • NLP的任务和瓶颈 • 统计方法示例 • 本课的主要内容 概述 NLP 的概念 • 什么是自然语言处理 – NLP, Natural Language Processing – 用机器处理人类语言的理论和技术 – 区别 • 语言处理 • 语言信息处理（如：中文信息处理） • 其它名称 – 自然语言理解(Natural Language Understanding) – 计算语言学(CL, Computational Linguistics) – 人类语言技术(Human Language Technology) • 什么是自然语言 – 以语音为物质外壳，由词汇和语法两部分 组成的符号系统。《新华词典》 – 语言是人类交际的工具，是人类思维的载 体 – 是约定俗成的，有别于人工语言（程序设 计语言） • 什么是处理 – 包括理解、转换、生成等 机器能够理解人的语言吗？ • 很难，但是没有证据表明不行 • 什么是理解 – 结构主义：机器的理解机制与人相同 • 问题在于谁也说不清自己理解语言的步骤 – 功能主义：机器的表现与人相同 • 图灵测试 – 如果通过自然语言的问答，一个人无法识别和他对 话的是人还是机器，那么就应该承认机器具有智能 有用和能用 • NLP有用吗 – 据统计，日常工作中80%的信息来源于语言，处理 文本的需求在不断增长 – 文本是人类知识最大的存储源，并且文本的数量 在不停地增长 • 电子邮件、新闻、网页、科技论文、用户抱怨信 • NLP能用吗 – 并非每一样语言处理的应用都需要深层理解 – 中间产品陆续产生 – 成功应用的实例 • 微软拼音 • 黑马中文自动校对 从智能接口到知识处理 • 智能接口 – 功能： • 把现实世界中的信息送入电子世界 – 主要成果 • 拼音输入、手写输入、语音合成、语音输入 • 知识处理 – 功能： • 对于已进入电子世界中的信息进行加工处理获得知识 – 主要研究内容 • 媒体的加工和管理、语言信息处理 – 知识处理的时代已经到来！ NLP 的不同层次 [应用系统] 数字图书馆、电子商务、 软件企业 电子政务、远程教育、语言学习 [应用技术研究] 自动问答、机器翻译、信息检索、 文本挖掘、自动校对、信息抽取 NLP研究者 [基础研究] 分词、词性标注、短语切分、 句法分析、语义分析、篇章理解等 [资源建设] 语料库资源建设 语言学家 语言学知识库建设