《自然语言处理》全套PPT课件.pptx

1第 1 章 绪论自然语言处理 绪论自然语言通常指人类的语言人类思维和逻辑的载体对自然语言的研究是人工智能的重要研究内容2 绪论自然语言通常指人类的语言人类思维和逻辑的载体对自然语言的研究是人工智能的重要研究内容3误判超过30%认为具有人类智能测试者向被测试者随意提问被测试者：一个人和一台机器图灵测试 绪论人工智能发展的三个阶段运算智能机器的基础运算和存储能力已完胜人类感知智能机器的识别能力，如语音的识别以及图像的识别基本达到人类水平认知智能涉及自然语言处理以及常识建模和推理等研究内容与人类还有很大差距4 5第1章 绪论1.1 自然语言处理的定义1.2 自然语言处理的研究内容1.3 自然语言处理的流派1.4 自然语言处理的挑战 6第1章 绪论1.1 自然语言处理的定义1.2 自然语言处理的研究内容 1.3 自然语言处理的流派1.4 自然语言处理的挑战 定义自然语言处理（Nature Language Processing）使计算机理解人类的语言，能够让计算机以自然语言作为接口与人类进行交互研究对象：“名、实、知、人”之间的关系“知”：语言符号的表征“实”：客观世界存在的实体或主观的概念“知”：知识，包括常识和领域知识“人”：语言的使用者研究层次：形式、语义、推理和语用四个层次研究问题：分类、解析、匹配和生成四类问题7 8第1章 绪论1.1 自然语言处理的定义1.2 自然语言处理的研究内容 1.3 自然语言处理的流派1.4 自然语言处理的挑战 自然语言处理的研究内容资源建设语料库建设基于统计自然语言处理方法的基础语料库中的语言知识能够以统计参数或机器学习参数的形式被计算机习得9 自然语言处理的研究内容资源建设语料库建设语言知识库建设借助外部语言知识库，帮助计算机在一定程度上消歧10 自然语言处理的研究内容基础研究词法分析目标是能够独立运用的最小语言单位：词包括：自动分词（Segmentation）词性标注（POS tagging）命名实体识别（Named entity recognition）等11 自然语言处理的研究内容基础研究词法分析句法分析目标是确定句中词的语法功能或词之间的关系包括：短语结构分析（Phrase structure parsing）：短语结构树依存关系分析（Dependency parsing）：依存树12短语结构树依存树 自然语言处理的研究内容基础研究词法分析句法分析语义分析目标是获得不同语言单位的语义信息包括：词义消歧（Word sense disambiguation）语义角色标注（Semantic role labeling）语义依存分析（Semantic dependency parsing）13语义角色标注语义依存分析 自然语言处理的研究内容应用技术研究数量多，且不算有新的任务提出包括：机器翻译情感分析信息抽取指代消解省略恢复等14 自然语言处理的研究内容应用系统自然语言处理技术能够直接或间接产生应用目前工业界成熟系统翻译机语音助手智能音箱开放域对话软件内容推送广告推荐认知计算平台等15 16第1章 绪论1.1 自然语言处理的定义1.2 自然语言处理的研究内容 1.3 自然语言处理的流派1.4 自然语言处理的挑战 自然语言处理的流派基于规则的自然语言处理—理性主义20世纪40年代末，电子计算机的诞生和对自动翻译的迫切需求，自然语言处理相关研究开始萌芽50年代初期，分为了基于规则方法的符号派和基于概率方法的随机派，孰优孰劣的争执一直没有停息1956年，乔姆斯基利用有限状态自动机作为刻画语法的工具，构建了大量有关语法规律的数学规则20世纪50年代到80年代中后期，具有代表的规则方法还有：Earley句法分析算法、线图句法分析算法、Tomita句法分析算法和语义网络等17 自然语言处理的流派基于统计学习的自然语言处理—经验主义随着早期研究深入，基于理性主义的规则方法显得力不从心，基于经验主义的统计方法开始兴起20世纪70年代以来，越来越多学者相信基于大量真实语料才能得到可靠结果20世纪80年代后期，越来越关注工程化解决问题的方法，经验主义迅速发展20世纪90年代初期，机器翻译出现了里程碑意义的基于噪声信道模型的统计机器翻译模型，基于此的Candide翻译系统被普遍视为经验主义自然语言处理方法崛起的开始18 自然语言处理的流派基于统计学习的自然语言处理—经验主义20世纪90年代中期以后，计算机的运算速度、存储容量大大增加，网络技术的发展等客观条件进步，为统计自然语言处理方法的发展提供了良好环境语料库的构建开始受到关注，大规模语料库中包含大量知识，语料库的快速发展也推动了统计自然语言处理方法的进步基于理性主义和经验主义的方法在80年代的激烈冲突后，人们逐渐认识到