深度学习核心概念与应用场景可视化梳理.docxVIP

深度学习核心概念与应用场景可视化梳理

一、核心概念

1.1什么是深度学习

深度学习是机器学习的一个分支，它通过模拟人脑神经元结构建立多层神经网络，实现对复杂数据的高层次抽象表示。

1.2关键术语定义

神经元：基本计算单元，接收输入并输出结果

网络层数：神经网络的层次数量

激活函数：引入非线性元素的函数

前向传播：计算预测输出的过程

反向传播：计算损失并更新权重的过程

损失函数：衡量预测与真实值差异的函数

梯度下降：优化权重参数的常用算法

过拟合：模型在训练数据上表现优秀但在新数据上表现较差的现象

正则化：防止过拟合的技巧

1.3神经网络类型

类型

描述

应用场景

前馈神经网络

最基础的神经网络结构

分类、回归

卷积神经网络

处理网格结构数据

图像识别

循环神经网络

处理序列数据

语音识别、时间序列预测

长短期记忆网络

一种特殊的RNN，能处理长期依赖

自然语言处理

1.4深度学习工作流程

二、常用算法梳理

2.1距离计算算法

算法名称

公式

适用场景

欧式距离

sqrt(Σ(xi-xj)2)

标量数据

曼哈顿距离

Σ

xi-xj

余弦相似度

(A·B)/(

2.2分类算法比较

2.3梯度下降变体

算法名称

原理差异

适用场景

SGD

单样本地更新

数据量大

Momentum

加速度权重

易陷入局部最优

Adam

自适应学习率

通用

RMSprop

动态学习率

RNN