MLP（多层神经网络）介绍.pdfVIP

MLP （多层神经⽹络）介绍 写在前⾯的 接触神经⽹络(ANN)的时间很长了，以前也只 学了学原理，做过⼀个BPN的练习，没有系统的总结过，最近看Torch的源码，对MLP有了更多的了解，写写⾃⼰学到的东西吧，算 做了⼀次总结 ！ ANN的特点 (1) ⾼度的并⾏性 ⼈⼯神经⽹络 由许多相同的简单处理单元并联组合⽽成，虽然每个单元的功能简单，但⼤量简单单元的并⾏活动，使其对信息的处理能⼒与效果惊⼈。 (2) ⾼度的⾮线性全局作⽤ 神经⽹络系统 由⼤量简单神经元构成的，每个神经元接受⼤量其他神经元的输⼊，通过⾮线性输⼊、输出关系，产⽣输出影响其它神经元。⽹络就 这样互相制约相互影响，实现 从输⼊状态空间到输出状态空间⾮线性映射的。⽹络的演化遵从全局性作⽤原则，从输⼊状态演化到终态⽽输出。从全局观点来看，⽹络整体性能不 ⽹络局部性能的简单迭加，⽽表现 某种集体性⾏为 ；⽽电脑遵从串⾏式局域性操作原则，每⼀步计算与上⼀步计算紧密相关，并对下⼀步产⽣影响，问题 通过算法逐步进⾏处理的。 (3) 良好的容错性与联想记忆功能 ⼈⼯神经⽹络通过 ⾃⾝的⽹络结构能够实现对信息的记忆，⽽所记忆的信息 存储在神经元之间的权值中。从单个权值中看不出所储存的信息内容，因⽽ 分布式的存储⽅式。这使 得⽹络具有 良好的容错性，并能进⾏聚类分析、特征提取、缺损模式复原等模式信息处理⼯作。 ⼗分强的⾃适应、⾃学习功能⼈⼯神经⽹络可以通过训练和学习来获得⽹络的权值与结构，呈现出很强的⾃学习能⼒和对环境的⾃适应能⼒。 ANN分类 BPN(Back Propagation Net) 在这⾥我介绍⼀下反向传播⽹络BPN带动量项的误差反传。反向传播神经⽹络 对⾮线性可微分函数进⾏权值训练的多层⽹络， 前向神经⽹络的⼀种。BP⽹络主要⽤于： 1)函数逼近与预测分析 ：⽤输⼊⽮量和相应的输出⽮量训练⼀个⽹络，逼近⼀个函数或预测未知信息 ； 2)模式识别：⽤⼀个特定的输出⽮量将它与输⼊⽮量联系起来 ； 3)分类 ：把输⼊⽮量以所定义的合适⽅式进⾏分类 ； 4)数据压缩 ：减少输出⽮量维数以便于传输与存储。 ⽐如，⼀个三层BPN结构如下 ： 由输⼊层、隐含层和输出层三层组成。其中每⼀层的单元与与之相邻层的所有单元连接，同⼀层的单元之间没有连接。当⼀对学习样本提供给⽹络后，神经元的激活值从输⼊层经各中间 层向输出层传播，在输出层的各神经元获得⽹络的输⼊响应。接下来，按照减少 ⽬标输出与实际误差的⽅向，从输出层经过各中间层逐层修正各连接权值，最后回到输⼊层。 感知器(Perception)类型 linear线性感知器 tanh双曲正切函数 sigmoid双曲函数 softmax1/ (e(net) * e(wi*xi- shift)) log-softmax log(1/ (e(net) * e(wi*xi))) exp指数函数 softpluslog(1+ e(wi*xi)) 梯度下降 Delta学习⽅法 增量梯度下降 MLP的缺陷 1.⽹络的隐含节点个数选取问题⾄今仍 ⼀个 世界难题 （Google, Elsevier, CN I） ； 2.停⽌阈值、学习率、动量常数需要采⽤”trial-and-error”法，极其耗时 （动⼿实验） ； 3.学习速度慢 ； 4.容易陷⼊局部极值，学习不够充分。 应⽤举例 举⼀个例⼦， ⽤BPN实现下⾯的问题，编程语⾔使⽤的 C#。 static void Main(string[] args) { int row = 2 ;//训 练样例的数 ⽬ int n_ in = 2 ;// 输⼊值的个数 int n_out = 1