《深度学习 》课件 第2章-深度学习基础.pptx

2深度学习基础

目录|CONTENTS线性代数1微积分2概率论3距离与相似度计算4激活函数567感知机与多重感知机反向传播算法

线性代数1

2.1.1标量与向量标量是一个单独的数，它没有大小和方向之分。标量通常用一个数或者小写斜体字母表示。标量01向量由一列数有序排列组成，是一个既有大小也有方向的量。可以把向量看作空间中的点，每个元素对应不同坐标轴上的坐标。向量通常由粗体小写字母表示。向量02

2.1.2矩阵和张量矩阵是一个二维数组，由m行n列元素排列而成，每个元素须由两个索引确定。矩阵也可视为由m个长度相等的行向量或n个长度相等的列向量组成。矩阵通常用粗体大写字母来表示。矩阵01张量是一个多维数组，可以看作是向量的推广，向量可以视为一维张量，同时矩阵也可视为二维张量。张量中每个元素须由各个维度对应索引共同确定。张量02

2.1.3矩阵计算给定两个向量，它们的点积是指二者相同位置元素乘积的和，计算公式如下：点积01?矩阵乘法02

2.1.4范数如果我们按常数因子缩放向量的所有元素，其范数也会按相同常数因子的绝对值缩放：01满足三角不等式：02范数是具有“长度”概念的函数，它常常被用来度量某个向量空间（或矩阵）中的向量的长度或大小。向量范数是将向量映射到标量的函数，对给定的任意向量，具有以下性质：范数是非负的：03当且仅当向量为零向量时范数为0，即：

2.1.4范数范数有很多名字，例如我们熟悉的曼哈顿距离、最小绝对误差等，其可以度量两个向量间的差异，如绝对误差和，计算方式如下：L1范数01范数一样，范数也可以度量两个向量间的差异，如平方差和。欧氏距离就是一种范数，计算方式如下：L2范数02

微积分2

2.2.1导数与微分?

2.2.1导数与微分在实际应用时，常常需要微分一个由一些常见函数组成的函数，这时可以使用以下法则。假设函数和都是可微的，是一个常数，有：

2.2.2偏导数和梯度?偏导数01

2.2.2偏导数和梯度?梯度02

2.2.2偏导数和梯度偏导数与梯度并不是相等的概念，二者有区别也有联系，具体而言：是一个多元函数针对其某一个变量的导数，而保持其他变量恒定。偏导数01是一个向量，它指向函数在给定点处变化率最大的方向，它是一个由偏导数组成的向量。梯度02

2.2.3链式法则?

概率论3

2.3.1概率分布概率分布用于描述随机变量每个取值或状态的可能性大小。针对离散型随机变量和连续型随机变量有不同的描述方式。?离散型随机变量01连续型随机变量的概率分布通常用概率密度函数来表示，但其并没有直接给出特定取值或状态对应的概率值，需要对概率密度函数求积分来获得随机变量取值落在某一范围内的概率。连续型随机变量02

2.3.2期望与方差期望是最基本的数学特征之一，反映了随机变量平均取值的大小。若随机变量为离散型，其期望可表示为：若随机变量为连续型，概率密度函数为，其期望可表示为：期望01方差是对随机变量离散程度的度量，其描述了随机变量与其数学期望之间的偏离程度。若随机变量为离散型，其方差可表示为：若随机变量为连续型，概率密度函数为，其方差可表示为：方差02

2.3.3条件概率和联合概率?条件概率01?方差02

2.3.4全概率公式与贝叶斯定理?全概率公式01?贝叶斯定理02

2.3.5边缘概率分布?

距离与相似度计算4

2.4.1常见的距离计算假设当前有两个??维向量??和??，可以通过两个向量之间的距离或者相似度来判定这两个向量的相近程度，两个向量之间距离越小，相似度越高；两个向量之间距离越大，相似度越低。MinkowskiDistance是对多个距离度量公式概括性的表述，当时，MinkowskiDistance便是曼哈顿距离；当时，MinkowskiDistance便是欧式距离；MinkowskiDistance取极限的形式便是切比雪夫距离。闵可夫斯基距离（MinkowskiDistance）01曼哈顿距离（ManhattanDistance）02欧式距离/欧几里得距离（Euclideandistance）03

2.4.1常见的距离计算切比雪夫距离（ChebyshevDistance）04海明距离（HammingDistance）05欧式距离/欧几里得距离（Euclideandistance）06?给定随机变量??和两个概率分布??和??，KL散度可以用来衡量两个分布之间的差异性，其公式如下。

2.4.2常见的相似度计算余弦相似度（CosineSimilarity）01皮尔逊相关系数（PearsonCorrelationCoefficient）02给定两个随机变量??和??，皮尔逊相关系数可以用来衡量两者的相关程度，公式如下:式中和分别表示向量??和??的均