自然语言处理基础及应用课件 (3).pptxVIP

高等学校自然语言处理课程教材（这里根据情况修改）自然语言处理基础应用李妍吕慧周庆国/主编李芬芳多拉/副主编

第3章卷积神经网络高等学校自然语言处理课程教材CONTENTS目录3.13.23.33.4卷积神经网络概述卷积神经网络模型CNN的变体实例：基于TextCNN的电影评论情感分析

本章学习目标第3章卷积神经网络了解卷积、池化等基本概念，以及CNN网络结构中各层彼此间的相互关系；了解应用于分类任务的基本CNN结构；掌握如何使用简单CNN实现图像和文本分类任务；掌握如何利用PyTorch搭建TextCNN并对文本进行情感分析。

3.1卷积神经网络概述卷积神经网络（ConvolutionalNeuralNetwork,CNN）是理解图像内容的最佳学习算法之一，并且在图像分割、分类、检测和检索相关任务中表现出色。研究者将CNN运用到NLP的问题中，得到了较好的结果。第3章卷积神经网络

3.1卷积神经网络概述传统的神经网络一般由输入层、隐藏层、输出层组成。因其模型结构较为简单，难以处理以下问题：①图像需要处理的数据量大，导致成本高，效率低；②图像在数字化的过程中很难保留原有的特征，导致图像处理的准确率不高。图3-1传统神经网络模型结构图第3章卷积神经网络

3.1卷积神经网络概述CNN能很好地解决上述问题，通过多次卷积（convolution）和池化（pooling），将大小为（height，width，channel）的多维数据压缩成长度为height×width×channel的一维数组，并接受原始的图像数据作为输入，而不是“展平”的向量，既保留了图像的空间信息，又提升了模型的准确率和训练效率。第3章卷积神经网络

第3章卷积神经网络高等学校自然语言处理课程教材CONTENTS目录3.13.23.33.4卷积神经网络概述卷积神经网络模型CNN的变体实例：基于TextCNN的电影评论情感分析

3.2卷积神经网络模型CNN主要包括输入层（inputlayer）、卷积层（convolutionlayer）、激活层、池化层（poolinglayer）、全连接层（fullyconnectedlayer，FC）、输出层（outputlayer）。其中，卷积层、池化层可叠加重复使用，也是CNN的核心结构。3.2.1CNN模型第3章卷积神经网络

3.2卷积神经网络模型卷积层是CNN的核心层，负责特征提取的工作。卷积是指以一定间隔滑动卷积核的窗口，将各个位置上卷积核的元素和输入的对应元素相乘，然后再求和（有时将这个计算称为乘积累加运算），之后将这个结果保存到输出的对应位置。3.2.1CNN模型图3-2卷积运算示意图第3章卷积神经网络

3.2卷积神经网络模型卷积核将周围的像素求均值，可以使原本有棱角（像素变化较大）的地方变得不明显，最终使图片变模糊。3.2.1CNN模型图3-3通过卷积模糊图像第3章卷积神经网络

3.2卷积神经网络模型如图3-4所示，若一个像素周围的像素与此像素相同，那么此像素卷积后的值则为0，显示为黑色；若一个像素周围的像素与此像素相差较大（边缘），那么此像素卷积后的值就会大于0，显示为白色。由此可以达到边缘检测的目的。3.2.1CNN模型图3-4通过卷积对图像进行边缘检测第3章卷积神经网络

3.2卷积神经网络模型卷积层可以获得图像的各种特征，理论上下一步可以直接使用这些特征训练分类器（如Softmax）。但是，这样做将面临巨大的计算量挑战，且容易产生过拟合现象。为了进一步降低网络训练参数及模型的过拟合程度，需要对卷积层进行池化（也称下采样）处理。3.2.1CNN模型第3章卷积神经网络

3.2卷积神经网络模型在卷积层中，一般会使用不同高度的卷积核以求提取更多的特征信息，每一种尺寸的卷积核又会产生长短不一的特征向量。池化层的主要工作是对这些向量进行降维，保证所有向量维度统一。池化采样的方式通常有三种：（1）最大池化（maxpooling）：选择池化窗口中的最大值作为采样值。（2）均值池化（meanpooling）：将池化窗口中的所有值相加取平均，以平均值作为采样值。（3）随机池化（stochasticpooling）：先将方格中的元素同时除以它们的和sum得到概率矩阵，按照概率随机选中方格，选中方格的值作为采样值。3.2.1CNN模型第3章卷积神经网络

3.2卷积神经网络模型池化层有三个特征：（1）没有要学习的参数。与卷积层不同，池化只是从目标区域中取最大值或平均值。（2）通道数不发生改变。（3）池化是利用图像局部相关性的原理，对图像进行子抽样，因此对图像微小的位置