2025年线性代数反向传播算法中的矩阵求导试题.docVIP

2025年线性代数反向传播算法中的矩阵求导试题

一、基础概念与符号定义

在反向传播算法的矩阵求导中，需明确以下基本符号与运算规则：

标量对矩阵的求导：标量(f)对矩阵(\mathbf{X}\in\mathbb{R}^{m\timesn})的导数定义为(\frac{\partialf}{\partial\mathbf{X}}=\begin{bmatrix}\frac{\partialf}{\partialX_{11}}\cdots\frac{\partialf}{\partialX_{1n}}\\vdots\ddots\vdots\\frac{\partialf}{\partialX_{m1}}\cdots\frac{\partialf}{\partialX_{mn}}\end{bmatrix})，结果与(\mathbf{X})同型。

矩阵乘法求导法则：若(\mathbf{Y}=\mathbf{A}\mathbf{X}+\mathbf{b})，则(\frac{\partial\mathbf{Y}}{\partial\mathbf{X}}=\mathbf{A}^T)（其中(\mathbf{A})为常数矩阵，(\mathbf{b})为常数向量）。

激活函数导数：Sigmoi