神经网络与深度学习.pdfVIP

神经网络与深度学习 ●深度学习、机器学习和人工智能 ●关系 ●线性代数方面的知识 ●基本概念与基础计算 ●空间向量 ●矩阵 ● 内积 ● 向量的内积即向量的数量积，各位相乘然后相加即可，结果并非向量 ●例子 ●a=(1,2,3),b=(2,3,4).a 内积 b=1*2+2*3+3*4=2+6+12=20 ●范数 ●例子 ●特征值与特征向量 ● ●逆矩阵 ●用伴随矩阵 ●初等变换 ●正定矩阵与半正定矩阵 ●相关题目 ●Pytorch 相关的函数计算 ●Torch.mm () and torch.matmul() ●理解与计算 ●链式求导法则 ● ●梯度：多元函数的一阶导数 ●概念 ●符号 ●求多元函数的梯度 ●举个栗子 ?? ●Hessian 矩阵 ●概念 ●符号 ●求多元函数的 Hessian 矩阵 ●举个栗子 ?? ●意义 ●几何意义 ●对于二次函数，其 Hessian 矩阵的特征值和特征向量的意义是什么？ ●利用 Hessian 矩阵点特征值来判断驻点为极大（小）值点还是鞍点 ●小结 ●如果 Hessian 矩阵的所有特征值都为正（负），则函数存在一个 唯一 的强极小（大） 点 ●如果特征值有正有负，则函数存在一个 唯一 的鞍点 ●如果所有的特征值都非负（正），但某些特征值为 0 ，则函数存在一个弱极小（大）点， 或没有驻点 ●方向导数 ●定义 ●计算 ●举个栗子 ?? ●哪个方向的斜率最大？ ●多元函数的泰勒级数的展开 ●一阶展开 ●二阶展开 ●最优点的必要条件 ●一阶 ●该点是驻点 ●二阶 ●Hessian 矩阵是半正定的 ●优化算法——梯度下降算法 ●搜索方式 ●学习率和下降方向的具体含义 ●学习率 ●含义 ●梯度下降的“步幅” ●下降方向 ●含义 ●梯度下降的“方向” ●对于二次函数，学习率的范围是什么？ ●模型 ●线性回归模型 ●定义 ●模型训练 ●平方误差损失函数 ●特点 ●一般用作二分类，也可以将多个二分类器组合使用，实现多分类 ●使用梯度下降算法求解线性回归模型 ●Softmax 模型 ●作用 ●实现多分类 ●one-hot 编码 ●定义 ●用