人民大2024《人工智能与Python程序设计》-课件第18次-PyTorch神经网络.pdf

《人工智能与Python程序设计》——PyTorch神经网络

人工智能与Python程序设计教研组

提纲

神经网络概述

使用PyTorch搭建神经网络

使用PyTorch训练神经网络

PyTorch神经网络

神经网络概述

•神经网络

–神经网络可以指向两种

•生物神经网络

•人工神经网络

–生物神经网络

•一般指生物的大脑神经元、细胞、触点等组成的网络

•用于产生生物的意识，帮助生物进行思考和行动

–人工神经网络也简称为神经网络（NeuralNetwork）

•模仿动物神经网络的行为特征，进行分布式、深层信息处理的算法模型

神经网络概述

•生物神经元v.s.人工神经元

单个神经细胞有两种状态：线性模型配上激活函数

抑制或者兴奋

神经网络概述

•激活函数

神经网络概述

•最常见的网络结构

–前馈神经网络

•也称为多层感知机（MLP）或者全连接网络

神经网络概述

•神经网络本质上是一种复合函数

321

ො=(…((())))

•两个重要过程

–前向计算(Forwardcomputation)

→(0)→(1)→(1)→(2)→⋯→−1→=ො

–后向求导(Back-propagation)[感兴趣的同学阅读注释链接]

从后回传误差逐层计算导数

/chap2.html

神经网络概述

•自动求导的本质

–构建计算图，通过可达的路径累积计算导数

神经网络概述

•优化的一般流程

–规定函数形式，明确如下

•参数（需要学习，一般用表示）

•输入（始终给定，一般用表示）

•输出（训练时给定，一般用表示）

ෝ

•预测（由模型的出来，一般用表示）

ෝෝ

–构建关于输出与预测之间的损失函数(,)

–以参数为待求目标，进行反向求导

–使用梯度下降（或者其变种）进行参数的更新: