BP神经网络实现函数逼近python实现.pdfVIP

机器学习作业一 BP 神经网络实现函数逼近 一． 算法描述 BP （Back Propagation ）神经网络是 1986 年由 Rumelhart 和 McCelland 为首的 科学家小组提出， 是一种按误差逆传播算法训练的多层前馈网络， 是目前应用最广泛的 神经网络模型 之一。 BP 网络能学习和存贮大量的输入 -输出模式映射关系， 而无需事前 揭示描述这种映射关系的数学 方程 。它的学习规则是使用梯度下降法， 通过反向传播来 不断调整网络的权值和阈值，使网络的 误差平方和 最小。 BP 神经网络模型 拓扑结构 包 括输入层（ input ）、隐层 (hidden layer) 和输出层 (output layer) 。 二． 数据描述 逼近函数 y = sin(x) 三． 算法参数 输入学习率，迭代次数，逼近函数，神经网络规模 输出逼近的函数 四． 实验流程 反向传播算法 (Back Propagation) 分二步进行，即正向传播和反向传播。 这两个过程简述如下： 1 ．正向传播 输入的样本从输入层经过隐单元一层一层进行处理，传向输出层；在逐层处 理的过程中。在输出层把当前输出和期望输出进行比较，如果现行输出不等 于期望输出，则进入反向传播过程。 2 ．反向传播 反向传播时，把误差信号按原来正向传播的通路反向传回，逐层修改连接权 值，以望代价函数趋向最小。 输入层输入向量 (n 维) ：X=(x1,x2, …,xi, …,xn)T 隐层输出向量 ( 隐层有 m 个结点 ) ：Y=(y1,y2, …,yj, …,ym)T 输出层输出向量 (l 维) ：O=(o1,o2, …,ok, …,ol)T 期望输出向量： d=(d1, d2, …,dk, …,dl)T 输入层到隐层之间的权值矩阵： V=(V1,V2, …,Vj, …,Vm) 隐层到输出层之间的权值矩阵用： W=(W1,W2,…,Wk, …,Wl) 对输出层第 k 个结点和隐含层的第 j 个结点有如下关系： 1 / 5 激活函数 f(x) 常用 sigmoid 函数( 一个在生物学中常见的 S 型的函数，也称为 S 形生长曲线 ) 或者 tanh( 双曲正切 ) 函数。各种 S 型曲线函数如下图所示： 下面以 sigmoid 函数进行推导。 sigmoid 函数定义为： 其导函数为： 定义 对单个样本 输出层所有神经元的误差总能量总和为： 将以上误差定义式展开至隐层： 权值调整思路为： 2 / 5 上面式子中负号表示梯度下降，常数 η∈(0,1) 表示权值调整步长 ( 学习速度 ) 。 推导过程中，对输出层有 j=0,1,2, …,m; k=1,2, …,l ；对隐层有 i=0,1,2, … ,n; j=1,2, … ,m 对输出层和隐层，上面式子可写为： 对输出层和隐层，定义 δ： 将以上结果代入 δ的表达式，并根据 sigmoid 函数与其导函数的关 系 :f(x)=f(x)*[1-f(x)], 可以计算出： 3 / 5 可以看出要计算隐层的 δ，需要先从输出层开始计算，显然它是反向递推计算的 公式。以此类推，对于多层神经网络，要先计算出最后一层