课件：神经网络与应用.ppt

反馈型网络：使用Hebb学习规则学习的网络等 前向型网络：BP神经网络等 离散型网络：二进制输入 连续性：浮点数输入 有监督型网络：需要外界告诉训练结果 无监督型网络：不需要任何外界告诉结果，自己适应形成特征 * 在实际应用中，80%～90%的人工神经网络模型是采用误差反传算法或其变化形式的网络模型（简称BP网络） δ学习规则 梯度下降法 自适应学习率调增、增加动量项 * 在实际应用中，80%～90%的人工神经网络模型是采用误差反传算法或其变化形式的网络模型（简称BP网络） δ学习规则 梯度下降法 自适应学习率调增、增加动量项 * 隐Markov模型 数据挖掘 * * * * * * * 80%～90%的人工神经网络模型是采用误差反传算法或其变化形式的网络模型（简称BP网络），目前主要应用于函数逼近、模式识别、分类和数据压缩或数据挖掘。 采用BP神经网络方法建模的首要和前提条件是有足够多典型性好和精度高的样本。 数据随机分成训练样本、检验样本（10%以上）和测试样本（10%以上）3部分。 最好使数据预处理后的值在0.2~0.8之间。 5. Hornik等早已证明：若输入层和输出层采用线性转换函数，隐层采用Sigmoid转换函数，则含一个隐层的MLP网络能够以任意精度逼近任何有理函数。显然，这是一个存在性结论。在设计BP网络时可参考这一点，应优先考虑3层BP网络（即有1个隐层）。 一般地，靠增加隐层节点数来获得较低的误差，其训练效果要比增加隐层数更容易实现。 6. LMA，RPROP（弹性BP），标准BP 7. 数据预处理 * * * * * * 神经网络应用 人工神经网络发展 萌芽期 阀值加权和模型(MP模型） Hebb学习律 上世纪四十年代 第一次高潮期 电子线路模拟感知器 大规模投入研究 上世纪五六十年代 沉寂期 异或运算不可表示 多层感知器学习规则不知 上世纪八十年代初 复兴期 Hopfield网络 BP神经网络 … 至今 生物神经元 神经元 细胞体 突起 树突 轴突 生物神经元构成 标准M-P模型图 v1 v4 v3 v2 … vn θi wi1 wi2 wi3 wi4 win F(ui) ui 标准M-P模型数学描述 神经元状态 Ui = ∑ Wij * Vj - θi j 神经元输出 Vi = f（Ui） 阶跃函数 Vi = f（Ui）= 1 Ui0 0 Ui=0 典型神经网络应用 自适应谐振理论（ART） 该模型主要包括ART1、ART2和ART3，它们可以对任意多和任意复杂的二维模式进行自组织、自稳定和大规模并行处理。ART1主要用于二值输入，ART2和ART3主要用于连续信号输入。该类模型主要用于模式识别（如雷达、声纳的信号识别）。 缺点是对转换、失真及规模的变化较为敏感。 雪崩模型（Avalanche） 该类神经网络模型可以学习、 记忆和重现随机复杂度的时空模式。主要用于连续的语音识别和教学机器人。 缺点是调节困难。 Hopfield神经网络模型 它是由相同处理单元构成的单层自联想网络模型。主要用于从片段中进行图像和数据的完全恢复。 典型神经网络应用 对流传播模型（CPN ） 该类神经网络模型是一种在功能上作为统计最优化和概率密度函数分析的网络模型。主要用于图像压缩、统计分析、贷款应用打分。 缺点是对任何类型的问题均需大量的处理单元和连接。 反传神经网络模型（BP） 该类神经网络模型是一多层映射神经网络。采用的是最小均方差的学习方式，是目前使用最广泛的神经网络模型之一。主要用于语言综合、语言识别、自适应控制等。 缺点是它仅仅是有监督的一种学习方式，而且需要大量的输入、输出样本。 神经网络分类 网络拓扑结构 反馈型网络 前向型网络 连续型网络 离散型网络 网络性能 学习方式 有监督型网络 无监督型网络 突触性质 一阶线性网络 高阶非线性网络 误差反向传播网络（BP） 调整权值 误差反向传播过程实际上是通过计算输出层的误差ek，然后将其与输出层激活函数的一阶导数f2’相乘来求得δki 由于隐含层中没有直接给出目标矢量，所以利用输出层的δki反向传递来求出隐含层权值的变化量Δw2ki。然后计算 同样通过将ei与该层激活函数的一阶导数f1’相乘，而求得δij，以此求出前层权值的变化量Δw1ij 如果前面还有隐含层，沿用上述同样方法依此类推，一直将输出误差ek逐层的反推算到第一层为止 神经网络适用场景 神经网络的局限性和优势 非典型解决方案 神经网络与经典计算方法相比并非优越, 只有当常规方法解决不了或效果不佳时神