神经网络——前向传播与反向传播公式推导.pdfVIP

神神经经⽹⽹络络——前前向向传传播播与与反反向向传传播播公公式式推推导导

概概述述

对于⼀个最原⽣的神经⽹络来说，BP反向传播是整个传播中的重和核⼼，也是机器学习中的⼀个⼊门算法。下⾯将以逻辑回归的分类问

题为例，从最简单的单个神经元开始引⼊算法，逐步拓展到神经⽹络中，包括BP链式求导、前向传播和反向传播的向量化。最后利⽤

Python语⾔实现⼀个原始的神经⽹络结构作为练习。

需了解的预备知识：代价函数、逻辑回归、线性代数、多元函数微分

参考：《ML-AndrewNg》

神神经经元元

单个神经元是最简单的神经⽹络，仅有⼀层输⼊，⼀个输出。

【前向传播】

\[z={{w}_{1}}\cdot{{x}_{1}}+{{w}_{2}}\cdot{{x}_{2}}+{{w}_{3}}\cdot{{x}_{3}}+=\left[\egin{matrix}{{w}_{1}}{{w}_{2}}{{w}_{3}}\\

\end{matrix}\right]\left[\egin{matrix}{{x}_{1}}\\{{x}_{2}}\\{{x}_{3}}\\\end{matrix}\right]+\]

若激活函数为sigmoid函数，则

\[\hat{y}=a=sigmoid(z)\]

【代价函数】

\[J(W,)=-[y\log(a)+(1-y)\log(1-a)]\]

【计算delta】

\[deleta=a-y=\hat{y}-y\]

【计算偏导数】

\[\frac{\partialJ}{\partialw}=\frac{\partialJ}{\partiala}\cdot\frac{\partiala}{\partialz}=-(\frac{y}{a}+\frac{y-1}{1-a})a(a-1)=(a-y)x^T=(\hat{y}-y)x^T

\]

\[\frac{\partialJ}{\partial}=\frac{\partialJ}{\partiala}\cdot\frac{\partiala}{\partialz}\cdot\frac{\partialz}{\partial}=a-y=\hat{y}-y\]

【更新权重】

\[w=w-\alpha*\frac{\partialJ}{\partialw}\]

\[=-\alpha*\frac{\partialJ}{\partial}\]

拓拓展展到到神神经经⽹⽹络络

假设⽹络结构如上图所⽰，输⼊特征为2个，输出为⼀个三分类，隐藏层单元数均为4，数据如列表中所⽰，共20条。

【输⼊、输出矩阵及初始化权重】

\[X={{\left[\egin{matrix}{{x}_{11}}{{x}_{12}}...{{x}_{1,20}}\\{{x}_{21}}{{x}_{22}}...{{x}_{2,20}}\\\end{matrix}\right]}_{2\times

20}}Y={{\left[\egin{matrix}10...1\\01...0\\00...0\\\end{matrix}\right]}_{3\times20}}\]

\[{{W}^{(1)}}={{\left[\egin{matrix}w_{11}^{(1)}w_{12}^{(1)}\\w_{21}^{(1)}w_{22}^{(1)}\\w_{31}^{(1)}w_{32}^{(1)}\\w_{41}^{(1)}

w_{42}^{(1)}\\\end{matrix}\right]}_{4\times2}}{{W}^{(2)}}={{\left[\egin{matrix}w_{11}^{(2)}w_{12}^{(2)}w_{13}^{(2)}w_{14}^{(2)}\\

w_{21}^{(2)}w_{22}^{(2)}w_{23}^{(2)}w_{24}^{(2)}\\w_{31}^{(2)}w_{32}^{(2)}w_{33}^{(2)}w_{34}^{(2)}\\w_{41}^{(2)}

w_{42}^{(2)}w_{43}^{(2)}w_{44}^{(2)}\\\end{matrix}\right]}_{4\times