28. isc311-自然语言处理目标和框架.pdf

自然语言处理目标和框架 基本概念-自然语言 ❖ 自然语言通常是指一种自然地随文化演化的语言，是人类交际的工具， 是人类思维的载体，以语音为物质外壳，由词汇和语法组成的符号系统 基本概念-自然语言处理 ❖ 自然语言处理（Natural Language Processing ，NLP ） • NLP是计算机科学和人工智能领域的一个重要研究方向 • 实现人机间自然语言通信，使计算机能理解自然语言文本的意义和利 用自然语言文本表达给定的意图或思想 基本概念-自然语言处理 ❖ 《学科分类与代码表》（国家标准 GB/T13745--92 ） • 应用语言学 ✴ 计算语言学（740.3550 ）三级学科 ❖ 人工智能 • 自然语言处理（520.2020 ）三级学科 基本概念-相关学科或术语 ❖ 自然语言生成 ❖ 人工智能 ❖ 人类语言技术 ❖ 模式识别 ❖ 中文信息处理 ❖ 机器学习 ❖ 自然语言理解 ❖ 数据挖掘 ❖ 深度学习 ❖ 大数据 ❖ 计算语言学 基本概念-相关学科或术语 历史简介 ❖ 20世纪50年代，NLP诞生于第二次世界大战 • 二战后，美国希望能利用计算机将大量俄语材料自动翻译成英语，以 窥探苏联科技的最新发展 • 自人工智能在1956年达特茅斯会议上首次提出，创始人把计算机国际 象棋和机器翻译作为两个标志性的任务，认为只要国际象棋系统能打 败人类世界冠军 （1997年，IBM深蓝超级计算机打败了冠军卡斯帕罗 夫），机器翻译系统达到人类翻译水平 （现今仍无法相比），就可以 宣告人工智能的胜利 现状分析-众多科技巨头NLP领域布局 ❖ 互联网的发展引发对NLP的强劲需求 • 促进信息检索质量不断提升的核心就是NLP技术。 ❖ 随着大数据和深度学习技术发展，基于大数据驱动的自然语言对话系统 不断涌出 • 如微软小冰，Siri ，百度小度机器人，京东JIMI ，Rokid机器人等 ❖ 2015年谷歌、微软、IBM分别发布并开源了机器学习工具包TensorFlow、 DMTK 、SystemML • DMTK定位更倾向于NLP ，如文本分类、聚类、话题识别、情感分析等 大数据与NLP ❖ 机器学习需要数据挖掘和自然语处理的支撑，自然语处理需要数据挖掘 的支撑，数据挖掘需要大数据的支撑。最终所有的根源都要落实在大数 据上，而这一切的顶点就是人工智能 ❖ 自然语言处理需要大数据的支撑 研究目标-计算机理解自然语言 ❖ 譬如输入一段文章 • The BBC producer allegedly struck by Jeremy Clarkson will not pr