人工神经网络的基本模型经典.pptVIP

c * 2.1 人工神经元的基本模型 第二章 人工神经网络的基本模型 对M-P人工神经元进行改进的主要方式有如下几个方面: 神经元的内部改造：对人工神经元取不同的非线性函数； 对输入和输出做不同的限制：离散的（某些离散点）和连续的（整个实数域）。 神经网络的结构上的改造：人工神经元之间的联接形式不同。 算法的改进：在人工神经网络权值和阈值取求的方法上 不同。 其它形式的改造。 c * 激活函数——执行对该神经元所获得的网络输入的变换，也常称为激励函数、活化函数：o=f(net) 线性函数（Liner Function） f(net)=k*net+c net o o c 2.2 几种典型的激活函数(Activation Function) 第二章 人工神经网络的基本模型 c * 2、非线性斜面函数(Ramp Function) γ if net≥θ f（net）= k*net if |net|θ -γ if net≤ -θ ?γ0为一常数，被称为饱和值，为该神经元的最大输出。 γ -γ θ -θ net o 2.2 几种典型的激活函数(Activation Function) 第二章 人工神经网络的基本模型 c * β if netθ f（net）= -γ if net≤θ βγθ均为非负实数，θ为阈值。 二值形式： 1 if netθ f（net）= 0 if net≤θ 双极形式： 1 if netθ f（net）= -1 if net≤θ β -γ θ o net 0 2.2 几种典型的激活函数(Activation Function) 第二章 人工神经网络的基本模型 阈值函数（Threshold Function）阶跃函数 c * 2.2 几种典型的激活函数(Activation Function) 第二章 人工神经网络的基本模型 其他形式的作用函数:不同的作用函数，可构成不同的神经元模型。 非对称型Sigmoid函数:简称S型作用函数，是可微的，用下式表示： 如图(a)和(b) f x e x ( ) = + - 1 1 或 f x e x ( ) = + - 1 1 b b 0 c * 第二章 人工神经网络的基本模型 对称型 Sigmoid 函数 是可微的，用下式表示：如图(a)和(b) f x e e x x ( ) = - + - - 1 1 或 f x e e x x ( ) = - + - - 1 1 b b ， b 0 或 f x e e e e x x x x ( ) = - + - - b b b b ， b 0 c * 对称型阶跃函数 第二章 人工神经网络的基本模型 c * 第二章 人工神经网络的基本模型 高斯函数: 是可微的，分一维和高维，用下式表示：如图(a)和(b) c * 神经元演示 　　非线性作用函数（激发函数） 2.2 几种典型的激活函数(Activation Function) 第二章 人工神经网络的基本模型 c * 非线性作用函数1 非对称型Sigmoid函数 c * 非线性作用函数2 对称型Sigmoid函数 c * 非线性作用函数3 非对称型阶跃函数 c * 非线性作用函数4 对称型阶跃函数 c * 非线性作用函数 c * 非线性作用函数5 高斯RBF(一维) c * 非线性作用函数5 高斯RBF（二维） c * 非线性作用函数5 高斯RBF（二维） c * 非线性作用函数6 B样条函数（０次） c * 非线性作用函数6 B样条函数（1次） c * 非线性作用函数 c * 2.3 人工神经网络的学习算法概述 第二章 人工神经网络的基本模型 学习过程就是调整权值的过程。 1、竞争学习 2、有监督学习 3、无监督学习 4、Hebb和Delta学习 5、有、无监督混合学习 6、随即自适应学习模拟退火 7、模糊学习 等等 几种常见类型学习算法： c * 对于竞争学习规则，有三个基本元素： 1.一个神经元集合，这些神经元除了一些随机分布的突触权值之外是完全相同的，并且由于突触权值的不同而对一个给定的输入模式集合由不同的响应。 2.在每个神经元的强度上给定一个极限。 3.一个机制，它允许神经元为响应一个给定输入子集的权利而竞争，从而使得每次只有一个输出神经元或者每组只有一个神经元是激活的（即，“开”）.竞争获胜神经元被叫做胜者通吃（winner-takes-all）神经元。 2.3 人工神经网络的学习算法概述 第二章 人工神