深度学习知识点.docVIP

深度学习知识点

深度学习基础知识

一、概述

深度学习是机器学习的一个分支，它通过构建具有多层结构的模型来模拟人脑神经网络的工作方式，从而实现对复杂数据的高效处理和分析。深度学习模型的核心是人工神经网络，其通过前向传播和反向传播算法进行训练，以最小化损失函数，提高模型的预测精度。

二、人工神经网络

1.神经元模型

-神经元是人工神经网络的基本单元，它接收多个输入，通过加权求和和激活函数处理输入，产生输出。

-激活函数用于引入非线性，常见的激活函数包括Sigmoid、ReLU、tanh等。

2.网络结构

-前馈神经网络（FFNN）：信息从输入层单向流向输出层，无循环结构。

-卷积神经网络（CNN）：适用于图像处理，通过卷积层和池化层提取特征。

-循环神经网络（RNN）：适用于序列数据，通过循环连接实现信息的持续传递。

三、前向传播与反向传播

1.前向传播

-计算网络输出，从输入层开始逐层计算，直到输出层。

-用于预测和计算损失函数的值。

2.反向传播

-计算损失函数对网络参数的梯度。

-通过梯度下降等优化算法更新网络参数，以最小化损失函数。

四、损失函数

1.均方误差（MSE）

-用于回归问题，计算预测值与真实值之间的平方差。

2.交叉熵损失（Cross-EntropyLoss）

-