人工智能 课件 第七章 自然语言处理.pptx

人工智能

第7章自然语言处理

语言是人类独有的特征，是逻辑思维和知识传承的载

体。

在人工智能领域，自然语言处理技术(NLP)占据重

要地位，旨在实现人与计算机间的自然语言通信，简化交互方式，并深入探索人类语言能力与智能机制。

NLP包括自然语言理解与自然语言生成两个核心环节，

使计算机能准确理解并表达人类意图和思想。

本章简介

7.1自然语言处理技术简述

7.2自然语言处理基础

7.3预训练语言模型

7.4自然语言处理实例

本章提纲

…

7.1自然语言处理技术简述

…

本章提纲

自然语言处理发展阶段

自然语言处理难点与综述

自然语言生成与理解技术自然语言处理的应用领域本节小结

7.1自然语言处理技术简述

人工智能中的自然语言处理

自然语言处理发展阶段

自然语言处理难点问题自然语言理解

机器翻译

语音识别

问答系统

7.1.1自然语言处理发展阶段

●自然语言处理的重要性

自然语言是人类区别其他动物的本质特性，人类的逻辑思维以语言为形式，大部分知识以语言文字形式记载和流传下来。

●自然语言处理的意义

实现人和计算机间的自然语言通信，即自然语言处理是人们长期以来所追求的，无需再花大量的时间和精力去学习各种计算机语言。

●自然语言处理的作用

自然语言处理技术要使计算机既能理解自然语言文本的意义，也能以自然语言文本来表达给定的意图、思想等。

7.1.1自然语言处理发展阶段

人工智能中的自然语言处理

深度学习方法

深度学习方法是机器学

习的新方向，涉及卷积神经网络、自编码神经网络和深度置信网络等,在自然语言处理中表现出优势，如GPT为代表的预训练语言模型技术为自然语言处理带来巨大变革。

统计方法

统计方法阶段利用带

标注数据和人工定义特征建立机器学习系统，通过数据学习确定参数，并利用支持向量机模型等方法提高处理精度，但存在依赖训练集质量、适用性受限等不足。

早期研究

早期研究阶段基于规

则建立语言分析系统和机器翻译系统，能利用人类知识，不依赖数据，快速启动，但覆盖面不足，规则管理和可扩展性仍是问题。

7.1.1自然语言处理发展阶段

自然语言处理发展阶段

7.1.1自然语言处理发展阶段

自然语言处理难点问题

分

自然语言理解

自然语言理解概况

主要研究电子计算机理解和运用人类社会的自然语言，实现人机之间的自然

语言通信，以代替人的部分脑力劳动，包括查询资料、解答问题以及一切有关自然语言信息的加工处理。

自然语言理解内容

分为语音和书面理解，语音理解用语音输入，书面理解用文字输入，计算机

需要存储词汇、句法、语义规则和主题知识，通过规则和模型来理解和生成

文本。

领域变化与特征

要求系统能处理大规模的真实文本，强调实用价值；系统输出并不要求能对

自然语言文本进行深层的理解，但要能从中抽取有用的信息，如自动提取索

引词、过滤、检索等。

7.1.1自然语言处理发展阶段

自然语言理解

存在与方向

技术主要包括理解句子正确次序规则和概念、词的确切含义及构词法、词的语义分类、多义性、歧义性、问题领域的结构知识、语气信息和韵律表现等。

自然语言理解过程

词法分析涵盖自动分词、词性标注及命名实体识别，句法分析旨在推导

句子句法结构，而语义分析则涉及话语含义的理解，涵盖词汇、句子及段落/篇章级分析。

7.1.1自然语言处理发展阶段

自然语言理解

语言学与基础

综合应用了现代语音学、音系学语法学、语义学、语用学的知识；由于自然

语言是人类智慧的结晶，因而自然语言理解也成为人工智能中最为困难的问题之一。

深度学习与进展

结合自动分词、词性标注、句法分析等技术，在语义理解的基础上实现智能识别；深度神经网络的机器学习算法在自然语言处理中取得了较大的进展。

7.1.1自然语言处理发展阶段

●机器翻译概况

机器翻译利用计算机将一种自然语言转换为另一

种，涉及语言学、计算语言学、人工智能等多学科，是典型的多学科交叉研究方向。

●机器翻译发展历程

机器翻译自古希腊时期起萌芽，历经开创期、挫折期、恢复期至发展期，互联网普及与经济全球化推动其迎来新机遇。

●中国机器翻译发展

中国自1956年起研究机器翻译，中断后于80年代中期重启并取得显著进步，现互联网公司推出互联网翻译系统。

7.1.1自然语言处理发展阶段

机器翻译

机器翻译系统划分

机器翻译系统分基于

规则和基于语料库；规则基分词汇、语法、语义、知识、智能型，语料库基以统计为主，分统计与实例法。

机器翻译过程划分

机器翻译分原文分析

、转换、译文生成；多语对一语可结合分析生成，一语对多语独立分析生成，多语对多语分别独立分析

◎