01-第一讲-万小军-自然语言处理-V100.pdf

NLPCC2013 Tutorial 自然语言处理：基础技术与互联网创新 万小军 北京大学计算机科学技术研究所 语言计算与互联网挖掘研究室 /lcwm/ 2013年11月15日 第一课 自然语言处理基础 ?自然语言处理概述 ?词性标注(POS) ?句法分析(Parsing) 2 自然语言处理概述 3 Let’s talk! This model shows what a mans body would look like if each part grew in proportion to the area of the cortex of Natural Languagethe Processing brain4 - Introduction concerned with its movement. 基本概念 ? 语言 ? 广义上：一套共同采用的沟通符号、表达方式与处理规则； ? 自然语言 vs. 动物语言 vs.电脑语言 ? 自然语言 ? 指自然地随文化演化的语言，是人类交流和思维的主要工具， 例如英语、汉语、日语等 ? 不包括编程语言等为计算机而设的“人造”语言 ? 自然语言处理 ? 又称自然语言理解，是人工智能和语言学领域的分支学 科。 ? 利用计算机为工具对人类特有的书面形式和口头形式的自 然语言的信息进行各种类型处理和加工的技术。 5 自然语言交流 6 基本任务 机器翻译 自动分词 文本分类 命名实体识别 情感分析 词性标注 信息检索与过滤 句法分析 自动问答 语义分析 信息抽取 篇章分析 自动文摘 人机对话 关键任务 应用型任务 7 例子 8 基本方法 ? 理性主义方法 ? 研究人的语言知识结构，人工编汇语言知识＋ 推理系统 ? 符号处理系统 ? 经验主义方法 ? 直接研究实际的语言数据，从大量的语言数据中获得语言 的知识结构 ? 基于语言数据的计算方法 ? 理性主义方法与经验主义方法的融合 ? 融合方法 9 发展历程 ? 萌芽期 ? 1946年世界上第一台计算机出现，自然语言理解的研究 起始于机器翻译。 ? 发展期 ? 自1966年美国自动语言处理咨询委员会(ALPAC) 提出 ALPAC报告开始到20世纪80年代中期。研究重点转向其 它分支：人机接口、对话系统、信息检索等。乔姆斯基语 法理论及一批语法理论发表 ? 基本方法：基于规则分析方法。 ? 繁荣期 ? 自20世纪80年代末期以后，基于大规模语料库的统计方 法引入自然语言处理。 10 研究现状 ? 哪个问题都没有彻底解决！ ? 有没有其他方法体系？有没有理论上限？ ? 部分技术已取得较好的效果，能够服务于信息检索、文本挖 掘等应用系统 ? 自动分词、词性标注、命名实体识别等 ? 部分技术尽管效果不尽如人意，但能为人类提到辅助性帮助 ? 机器翻译 ? 若干关键技术在研究和