MATLAB 神经网络工具箱 神经网络模型.pptVIP

MATLAB神经网络工具箱中的神经网络模型 神经网络工具箱简介 MATLAB 7对应的神经网络工具箱的版本为Version 4.0.3,它以神经网络理论为基础,利用MATLAB脚本语言构造出典型神经网络的激活函数,如线性、竞争性和饱和线性等激活函数，使设计者对所选定网络输出的计算变成对激活函数的调用。 还可根据各种典型的修正网络权值规则，加上网络的训练过程，利用MATLAB编写出各种网络设计和训练的子程序，用户根据自己的需要去调用。 神经网络工具箱的主要应用 函数逼近和模型拟合 信息处理和预测 神经网络控制 故障诊断 应用神经网络工具箱求解问题的一般过程 确定信息表达方式 数据样本已知 数据样本之间相互关系不确定 输入/输出模式为连续的或者离散的 输入数据按照模式进行分类，模式可能会具有平移、旋转或伸缩等变化形式 数据样本的预处理 将数据样本分为训练样本和测试样本 确定网络模型 选择模型的类型和结构，也可对原网络进行变形和扩充 网络参数的选择 确定输入输出神经元数目 训练模型的确定 选择合理的训练算法，确定合适的训练步数，指定适当的训练目标误差 网络测试 选择合适的测试样本 人工神经元的一般模型 神经元模型及其简化模型如图所示，输入向量 、权值矩阵 ，与阈值的加权和（内积运算）送入累加器，形成净输入，即： 人工神经元模型 与生物神经元的区别: (1)生物神经元传递的信息是脉冲，而上述模型传递的信息是模拟电压。 (2)由于在上述模型中用一个等效的模拟电压来模拟生物神经元的脉冲密度，所以在模型中只有空间累加而没有时间累加(可以认为时间累加已隐含在等效的模拟电压之中)。 (3)上述模型未考虑时延、不应期和疲劳等。 响应函数 的基本作用： 1、控制输入对输出的激活作用； 2、对输入、输出进行函数转换； 3、将可能无限域的输入变换成指定的有限范围内的输出。 根据响应函数的不同，人工神经元有以下几种类型： 阈值单元 响应函数如图a所示, 线性单元 其响应函数如图b所示 非线性单元 常用响应函数为S型(Sigmoid)函数，如图c、d所示 Hardlim x=0 y=1;x0 y=0 Hardlims:x=0 y=1; x0 y=-1 Purelin :y=x Satlin:x0 y=0;x1 y=1;x=0x=1 y=x; Logsig:y= 人工神经网络的构成 单个神经元的功能是很有限的，人工神经网络只有用许多神经元按一定规则连接构成的神经网络才具有强大的功能。 神经元的模型确定之后，一个神经网络的特性及能力主要取决于网络的拓扑结构及学习方法。 人工神经网络连接的基本形式： 1．前向网络 网络的结构如图所示。网络中的神经元是分层排列的，每个神经元只与前一层的神经元相连接。最右一层为输出层，隐含层的层数可以是一层或多层。前向网络在神经网络中应用很广泛，例如，感知器就属于这种类型。 2. 反馈前向网络 网络的本身是前向型的，与前一种不同的是从输出到输入有反馈回路。 内层互连前馈网络 通过层内神经元之间的相互连接，可以实现同一层神经元之间横向抑制或兴奋的机制，从而限制层内能同时动作的神经数，或者把层内神经元分为若干组，让每组作为一个整体来动作。一些自组织竞争型神经网络就属于这种类型。 互连网络 互连网络有局部互连和全互连两种。全互连网络中的每个神经元都与其他神经元相连。局部互连是指互连只是局部的，有些神经元之间没有连接关系。Hopfield网络和Boltzmann机属于互连网络的类型。 神经网络的学习方式 有教师学习(监督学习) (1)均方误差mse(mean squared error) (2)平均绝对误差mae (mean absolute error) (3)误差平方和sse(sum squared error) 无教师学习(无监督学习) MATLAB工具箱中的神经网络结构 人工神经元的一般模型 由此构成人工神经元的一般模型，如下图所示。 由S个神经元组成的单层网络 MATLAB工具箱中的神经网络结构 多层网络的简化表示: MATLAB神经网络工具箱中的神经网络模型 基本概念: 标量:小写字母,如a,b,c等; 列向量:小写黑体字母,如a,b,c等,意为一列数; 矩阵向量:大写黑体字母,如A,B,C等 权值矩阵向量W(t) 标量元素 ,i为行,j为列,t为时间或迭代函数 列向量 行向量 阈值向量b(t) 标量元素 ,i为行,t为时间或迭代函数 网络层符号 加权和: ,m为第m个网络层, 为第 个