机器学习算法之神经网络课件.pptVIP

机器学习算法之神经网络 神经网络基本概念 1 神经网络的学习方法 2 BP神经网络 3 BP神经网络实例（Python） 4 目录 生物神经元的模型 神经网络的基本概念 神经元的数学模型 神经元的n个输入 接收的信息 (其它神经元的输出) 作比较 的阈值 互连强度/连接权值 激活函数 输出 连接的权值：两个互连的神经元之间相互作用的强弱。 神经元模型：神经元相当于一个多元输入一元输出的信息处理单元 神经元的数学模型 上面的神经元模型可以用一个数学表达式进行抽象与概括，从而得到神经元的数学模型： 神经元的网络输入记为net，即 有时为了方便，设 则有： 其中， 激活函数 1.阈值型激活函数 2.S型激活函数 3.分段线性激活函数 数学神经元例子 神经网络学习方法 学习：神经网络的最重要特征之一。 实质：同一个训练集的样本输入输出模式反复作用于网络，网络按照一定的训练规则自动调节神经元之间的连接强度或拓扑结构，使实际输出满足期望的要求或者趋于稳定。 学习规则（典型的权值修正方法）：δ误差修正学习、Hebb学习规则 学习方法： 有监督学习、无监督学习 δ学习规则 （1）选择一组初始权值wij(1)； （2）计算某一输入模式对应的实际输出与期望输出的误差； （3）更新权值，阈值可视为输入恒为（－1）的一个权值； 式中， η：学习因子； dj，yj(t)：第j个神经元的期望输出与实际输出； xi(t)：第j个神经元的第i个输入。 （4）返回 (2) ，直到对所有训练模式网络输出均能满足要求。 神经网络的学习体现在：权值变化；网络结构变化。 感知器 * 双层（输入层、输出层）； * 两层单元之间为全互连； * 连接权值可调。 结构特点： * 输出层神经元个数等于类 别数（两类问题时输出层 为一个神经元）。 感知器结构示意图 设输入模式向量， ，共M类。 输出层第j个神经元对应第j个模式类， 输出为 wij：输入模式第i个分量与 输出层第j个神经元间的连接权。 θj：第j个神经元的阈值； 输出单元对所有输入数值加权求和，经阈值型输出函数 产生一组输出模式。 令 。取 有 感知器例子 权重向量w。训练样本x 1.把权重向量初始化为0，或把每个分量初始化为[0,1]间的任意小数 2.把训练样本输入感知器，得到分类结果（-1或1） 3.根据分类结果更新权重向量 权重更新算法 权重更新示例 阈值更新 神经网络模型 输出层 第二隐层 第一隐层 输入层 神经网络模型 神经元的连接方式不同，网络的拓扑结构也不同，人工神经网络的拓扑结构是决定人工神经网络特征的第二要素，根据神经元之间连接的拓扑结构不同，可将人工神经网络分成两类，即分层网络和相互连接型网络。 分层网络 分层网络将一个神经网络中的所有神经元按功能分为若干层，一般有输入层、中间层（隐藏层）和输出层。 分层网络按照信息的传递方向可分为前向式网络（如图a）和反馈网络（如图b、c）。 BP神经网络 BP网络主要用于 1）函数逼近：用输入向量和相应的输出向量训练一个网络逼近一个函数。 2）模式识别：用一个特定的输出向量将它与输入向量联系起来。 3）分类：把输入向量 以所定义的合适方式进行分类。 4）数据压缩：减少输出向量维数以便于传输或存储。 BP神经网络（Back Propagation Neural Network），即误差后向传播神经网络，是一种按误差逆向传播算法训练的多层前馈网络，是目前应用最广泛的网络模型之一。 BP神经网络结构 BP神经元的网络结构 注：与感知器模型不同的是，BP网络的激活函数f（·）要求是可微的，所以不能用二值函数，常用S型的对数、正切函数或线性函数。 BP神经节点 BP神经网络 BP算法的两个阶段：BP算法由数据流的正向传播和误差信号的反向传播两个过程构成。 设：某层任一神经元j的 输入为netj，输出为yj； 相邻低一层中任一 神经元i的输出为yi。 wij：神经元i与j之间的连接权； f(?)：神经元的输出函数。 j i S型输出函数： θj：神经元阈值； h0：修改输出函数形状的参数。 设：输出层中第k个神经元的实际输出为yk，输入为netk； 与输出层相邻的隐层中任一神经元j的输出为yj。