深度学习核心算法的理论基础与逻辑演进分析.docxVIP

深度学习核心算法的理论基础与逻辑演进分析

目录

一、内容概览与背景概述．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．2

二、数学逻辑与理论基石．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．3

2.1凸优化与梯度下降算法．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．3

2.2信息论基础．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．7

2.3统计学习理论．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．8

三、单层感知机与线性模型的局限．．．．．．．．．．．．．．．．．．．．．．．．．．．11

3.1感知机模型的逻辑原理．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．11

3.2逻辑回归与线性分类的边界．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．13

3.3线性不可分问题与激活函数的引入．．．．．．．．．．．．．．．．．．．．．．．．14

四、深层架构的突破与CNN革新．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．18

4.1卷积神经网络的空间特征提取．．．．．．．．．．．．．．．．．．．．．．．．．．．．18

4.2感受野的扩展与特征图的下采样．．．．．．．