Chaper_4_ultilayer_Feedforward_Networks.docVIP

Chaper 4 Multilayer Feedforward Networks Introduction 1. Linear Classification 实现了一个决策超平面。 Problems: Perceptrons: 无解 ADALINE: 分类效果不好。 2. Multilayer Percetrons (硬限幅激活函数) 两层感知器：实现任意凸多边形决策边界。 三层感知器：实现任意多边形决策边界。 Problem: 无学习算法。 3. Multilayer Feedforward Networks D. Rumelhart, 心理学家，1986，Nature, vol. 323, 533~536. 贡献： 引进Sigmoid激活函数; 给出了BP算法 (求解权值、阈值梯度法的快速算法)。 4. Functions Remark: 在实际应用中，80%~90%使用?BP网络。 二、网络的结构与记号 (为推导BP算法方便) 1. 单隐层前向网络 2. 一般层 激活函数： ，(输出层) 第层结构 () 更精确 第层输出 where 第层第个神经元的净输入。 三、反向传播算法 (Backpropagation Algori