52 神经网络的一种最常见设计方案.pptVIP

* 5.2 神经网络的一种最常见 设计方案 结构：两层；前馈网络；隐层神经元个数人工确定；输入输出根据问题确定 神经元：内积模型，隐层Sigmoid模型，输出层为线性模型或sigmoid模型 只调整权值，目标函数一般为理想输出与实际输出的均方误差，采用反向传播（Back Propagation, BP）算法 Such two-layered networks are capable of performing just about any linear or nonlinear computation, and can approximate any reasonable function arbitrarily well. Such networks overcome the problems associated with the perceptron and linear networks. 设计方案 学习： 分类和逼近 INCREMENTAL TRAINING BATCH TRAINING 两种网络训练思路 每给一个样本训练一次，即调整一次参数。目标函数为: 每给一次整个样本集，调整一次参数。目标函数为： INCREMENTAL TRAINING ——梯度下降BP算法 若j在输出层： 定义中间梯度： 故有梯度： 权值修正量： 增加惯性项的