自然语言处理基础.PDF

《互联网数据挖掘》本科生课程 自然语言处理基础 万小军 北京大学计算机科学技术研究所 语言计算与互联网挖掘研究室 /lcwm/ 2016年10月11日 自然语言处理概述 2 Let’s talk! 如果人类身体每部分的生长和与该部分动作相关的大脑皮层区域的 3 - Introduction 大小成比例，那么人类将的长相如图所示。 基本概念  语言  广义上：一套共同采用的沟通符号、表达方式与处理规则；  自然语言 vs. 动物语言 vs.电脑语言  自然语言  指自然地随文化演化的语言，是人类交流和思维的主要工具  英语、汉语、日语、藏语等  不包括编程语言等为计算机而设的“人造”语言  C/C++、Java、Perl、Python、C#等 思考：鸟类的语言是自然语言吗？ 4 5 基本概念  自然语言处理  又称自然语言理解 ，是人工智能和语言学领域的分支学 科。  利用计算机为工具对人类特有的书面形式和口头形式的自 然语言的信息进行各种类型处理和加工的技术。  自然语言生成  利用计算机为工具自动生成可理解的自然语言文本的技 术。 6 基本任务 机器翻译 自动分词 文本分类 命名实体识别 情感分析 词性标注 信息检索与过滤 句法分析 自动问答 语义分析 信息抽取 篇章分析 自动文摘 人机对话 关键任务 应用型任务 7 例子 8 基本方法  理性主义方法  研究人的语言知识结构 ，人工编汇语言知识＋ 推理系统  符号处理系统  经验主义方法  直接研究实际的语言数据，从大量的语言数据中获得语言 的知识结构  基于语言数据的计算方法  理性主义方法与经验主义方法的融合  融合方法 9 代表性应用系统  统计机器翻译系统：谷歌翻译  智能问答与对话系统：IBM沃森、苹果Siri、微软小娜、各 类服务机器人（演示 ）  知识图谱： 谷歌知识图谱 我们何时能引领 10