Python机器学习项目化教程（微课视频版）课件 第10章 人工神经网络.pptx

第10章人工神经网络

目录CONTENTS10.1感知机10.2神经网络模型10.3BP神经网络算法思想及实现10.4BP神经网络算法实现10.5本章小结

10.1从感知机到多层感知机学习基础学习认知能力信息素养高M-P神经元模型如图10-1所示。输出一般可以表示为：1.激活函数假设有两个输入信号x1和x2，经过感知机处理后，输出结果为y，其网络结构如图10-2所示。

10.1从感知机到多层感知机sigmoid函数、tanh函数和阶跃函数的图形如图10-3所示。

10.1从感知机到多层感知机而对于图10-4所示的异或问题就显得无能为力。但是，可以通过对逻辑与、逻辑或、逻辑与非进行叠加后来实现逻辑异或运算，如图10-5所示。

10.2神经网络模型一个单隐藏层的神经网络模型如图10-6所示。将神经网络每一层加上权值进行扩充后，就变成了图10-7所示的两层神经网络模型。：

10.2神经网络模型经过输入层后，隐藏层的输出可通过以下公式得到：则上式就变为：：使用矩阵形式可以表示为：

10.2神经网络模型隐藏层到输出层的初始权值、偏置及输入为：则有：

10.3BP神经网络算法思想及实现假设有n个输入样本，每个特征向量xi包含m个特征xi=(d1,d2,…,dm)。现在要确定神经网络的映射函数：神经网络的输出要无限接近真实的标签值，就是要最小化预测误差，如果采用均方误差，则目标函数为：

10.3BP神经网络算法思想及实现是一个2×3的矩阵，是一个二维的列向量，则有：第i个输出结果为yi，则误差函数可以表示为：

10.3BP神经网络算法思想及实现BP反向传播计算分为两个部分：（1）隐藏层到输出层的参数W和b的更新；（2）从输入层到隐藏层的参数W和b的更新。

10.3BP神经网络算法思想及实现输入为4个样本，每个样本包含两个数x1和x2，如果增加一个偏置x0，则每个输入样本包含3个数（x0，x1，x2）；输出为1个数，其值为0或1。importnumpyasnpdefinit_data():X=np.array([[1,0,0],[1,0,1],[1,1,0],[1,1,1]])Y=np.array([[0,1,1,0]])W1=np.random.random((3,4))*2-1W2=np.random.random((4,1))*2-1alpha=0.1returnX,Y,W1,W2,alpha

10.3BP神经网络算法思想及实现（1）前向传播：根据输入数据和权值矩阵，计算X×W1，并将其代入激活函数，得到输入层到隐藏层的输出hidden_out；然后将其作为隐藏层到输出层的输入，再计算hidden_out*W2，将其代入激活函数，得到输出层的输出output_out。（2）计算误差：根据输出层的输出output_out与真实标签Y的取值，得到输出层的误差delta_output；根据隐藏层的输出hidden_out和隐藏层到输出层的权值矩阵W2，得到隐藏层的误差delta_hidden。（3）更新权值：先利用delta_output和hidden_out得到W2的变化量，然后更新W2；根据输入层的X和delta_hidden得到W1的变化量，然后更新W1。

10.3BP神经网络算法思想及实现3.学习到参数W1和W2经过若干次迭代后，返回W1和W2。defbp_nn(X,Y,W1,W2,alpha,iter):foriinrange(iter):W1,W2=bp_train(X,Y,W1,W2,alpha)ifi%1000==0:hidden_out=sigmoid(np.dot(X,W1))#隐藏层输出为4×4的矩阵output_out=sigmoid(np.dot(hidden_out,W2))#输出层输出为4×1的向量print(当前误差:,np.mean(np.abs(Y.T-output_out)))returnW1,W2

10.3BP神经网络算法思想及实现4.测试样本defmodel_test(X,W1,W2):hidden_out=sigmoid(np.dot(X,W1))#隐藏层输出为4×4的矩阵output_out=sigmoid(np.dot(hidden_out,W2))#输