第2章深度学习的数学基础.pptVIP

2.2 概率统计 2.2.2 信息论基础 第二章 深度学习的数学基础 H ? X Y ? ? ? p ? b j ? H X Y ? b j j ? 1 s r s ? ? ? ? ? p ? b j ? ? p ? a i b j ? log p ? a i b j ? j ? 1 s i ? 1 ? ? ?? p ? a i b j ? log p ? a i b j ? j ? 1 i ? 1 21 of 44 r 全国高校标准教材《云计算》姊妹篇，剖析大数据核心技术和实战应用 第二章 深度学习的数学基础 2.1 线性代数 2.2 概率与统计 2.3 多元微积分 22 of 44 2.3 多元微积分 2.3.1 导数和偏导数 第二章 深度学习的数学基础 23 of 44 2.3 多元微积分 2.3.1 导数和偏导数 第二章 深度学习的数学基础 P P P P 0 x 0 x 0 + ? x x 0 + ? x x 0 + ? x 24 of 44 2.3 多元微积分 2.3.1 导数和偏导数 第二章 深度学习的数学基础 ? x ? 0 lim ? y ? x ? lim ? x ? 0 ? y ? f ? x 0 ?? x ? ? f ? x 0 ? ? x 25 of 44 2.3 多元微积分 2.3.1 导数和偏导数 第二章 深度学习的数学基础 常见函数的导数 序号 序号 1 2 3 4 0 5 6 7 8 26 of 44 2.3 多元微积分 2.3.1 导数和偏导数 第二章 深度学习的数学基础 ? z ? x ? x 0 , y 0 ? ? lim ? x ? 0 ? x z ? x ? lim 27 of 44 ? x ? 0 f ? x 0 ?? x , y 0 ? ? f ? x 0 , y 0 ? ? x 2.3 多元微积分 2.3.2 梯度和海森矩阵 第二章 深度学习的数学基础 28 of 44 2.3 多元微积分 2.3.2 梯度和海森矩阵 第二章 深度学习的数学基础 ? 2 ? ? x 1 ? ? 2 f ? x ? 2 ? x 2 ? x 1 ? ? f ? x ? ? ? ? ? ? 2 f ? x ? ? ? ? x n ? x 1 ? 2 f ? x ? ? 2 f ? x ? ? x 1 ? x 2 ? 2 f ? x ? 2 ? x 2 ? 2 f ? x ? ? x 1 ? x n ? 2 f ? x ? ? x n ? x 2 ? ? ? 2 f ? x ? ? ? x 2 ? x n ? ? ? ? 2 f ? x ? ? 2 ? ? x n ? 29 of 44 高级大数据人才培养丛书之一，大数据挖掘技术与应用 深度学习 刘 鹏 张 燕 总主编 刘鹏 主编 赵海峰 副主编 BIG DATA 全国高校标准教材《云计算》姊妹篇，剖析大数据核心技术和实战应用 第二章 深度学习的数学基础 2.1 线性代数 2.2 概率与统计 2.3 多元微积分 2 of 44 2.1 线性代数 2.1.1 向量空间 第二章 深度学习的数学基础 点空间中的每一个点与向量就建立了一一映射。因为向量与 点之间的这种一一映射关系，可以把向量转化成几何空间中 实在的点，利用点空间的方法来处理向量，这样处理就更加 P ? ? p 1 , p 2 ? 直观；或者把点空间的概念和方法推广到向量中，例如：借 T 助几何中点空间的思路，我们把点空间的概念推广到向量中， 就形成向量空间。 Y 轴 O ? ? 0,0 ? ? OP X 轴 3 of 44 2.1 线性代数 2.1.1 向量空间 第二章 深度学习的数学基础 直观上，空间是一个几何的概念，但本质上，空间是由数据 的运算规则确定的。数学上，空间不仅意味着定义了集合、 集合成员、集合元素的运算及其运算规律；并且所有集合元 素（即运算对象）按照这些运算规律运算后，运算结果仍然 属于这个集合，即运算具有封闭性。空间就是由某些运算规 则规定下形成的封闭集合，集合中的元素无论如何运算，结 果仍然在该集合中。直观地看，就像密闭箱中的气体分子， 无论如何运动都超不出箱体的范围。 4 of