自然语言处理基础及应用课件 (2).pptxVIP

高等学校自然语言处理课程教材（这里根据情况修改）自然语言处理基础应用李妍吕慧周庆国/主编李芬芳多拉/副主编

第2章NLP前置技术解析高等学校自然语言处理课程教材CONTENTS目录2.5搭建开发环境深度学习框架TensorFlow利用PyTorch进行深度学习实例：使用PyTorch模块实现简单线性回归2.4NumPy使用详解

本章学习目标第2章NLP前置技术解析熟练掌握NLP开发环境的搭建流程，包括Anaconda、CUDA、TensorFlow、PyTorch等环境；掌握NumPy科学计算库的主要方法；掌握TensorFlow与PyTorch的基本方法；学习简单的NLP知识，并可以使用NumPy、TensorFlow、PyTorch开发简单的NLP模型；

2.1搭建开发环境学习NLP是需要“成本”的，这个成本就是必需的开发环境（软件与硬件）。越大、越复杂的模型，需要的成本（尤其是硬件）越高。所以，拥有一个稳定以及满足深度学习模型最低配置要求的开发环境是开发NLP模型的前提。而本书将使用Python作为学习的开发环境第2章NLP前置技术解析

Python语法简洁、清晰、易学，是一种动态语言（动态指的是编译器在运行时执行类型检查，也就是说，变量在使用前无须申明类型，通常变量的类型是被赋值的那个值的类型），运行时一般需要虚拟机的支持Python易于扩展，可以把用C/C++语言制作的各种模块连接在一起，因此常被称为胶水语言。常见的一种应用场景是，使用Python编译器将其他语言编写的程序进行集成，然后封装成Python可以调用的扩展类库神经网络开发初期，除Python外有多种语言供研究者选择和使用。人们已经基于Java、C++、MATLAB等语言开发出了相应的机器学习框架。但是这些语言学习起来相较于Python比较困难，因此为了让读者专注于机器学习而不是语言本身，本书使用Python2.1搭建开发环境第2章NLP前置技术解析2.1.1为什么选择Python

2.1搭建开发环境第2章NLP前置技术解析2.1.2使用图形处理单元（GPU）进行训练在神经网络的训练过程中，包括前向传播、反向传播和权重更新等任务可以很容易地拆分成并行任务，当CPU无法满足任务需求时，需要有针对性的协处理器辅助计算。GPU针对计算高并行度、高吞吐量和高容忍延迟而定制，能够显著加快神经网络的训练速度，缩短训练时间GPU的设计初衷是实现图形处理任务的快速并行处理，神经网络训练与实时图形处理任务在执行过程上十分类似。深度神经网络通常涉及大量参数，如权重、激活值、矩阵、梯度等，其中每一个参数在每次训练中都有可能被刷新。当采用CPU进行训练时，这些参数占用的空间大小远远超过CPU的高速缓存（cache）的大小，会限制训练速度

2.1搭建开发环境第2章NLP前置技术解析2.1.2使用图形处理单元（GPU）进行训练下图显示了CPU和GPU的内部结构。由于内部结构上的区别，GPU在浮点运算方面的性能要优于CPU。CPU具有复杂度控制逻辑单元和缓存结构，适合进行控制转移。GPU为了应对高度并行化、计算密集型图形处理任务而被设计成拥有更多的算术逻辑单元（arithmeticandlogicunit，ALU）和高带宽显存，这样会有更多晶体管用于数据运算。依托自身硬件特性，GPU能够在高度密集型的并行运算上获得较高的性能和运算速度。

2.1搭建开发环境第2章NLP前置技术解析2.1.2使用图形处理单元（GPU）进行训练训练神经网络，一个最大的问题就是训练速度的问题，特别是对于深度学习而言，过多的参数会消耗很多的时间。在神经网络训练过程中，进行最多的运算是关于矩阵的运算。因其进行矩阵运算的高效性，GPU被运用到了深度学习模型的训练中。因此，推荐读者使用GPU训练NLP模型

2.1搭建开发环境第2章NLP前置技术解析2.1.3选择Linux操作系统Linux操作系统是一种免费使用和自由传播的类UNIX操作系统，它主要受到Minix和UNIX思想的启发，是一个基于可移植操作系统接口（portableoperatingsysteminterface，POSIX）的多用户、多任务、多线程和多CPU的操作系统。Linux操作系统的发行版本有很多，常见的有Ubuntu、CentOS、Debian、Deepin等。本书推荐使用Ubuntu操作系统，这是由一个全球化的专业技术团队（CanonicalLtd）打造的开源GNU/Linux操作系统选择