第9章神经网络.pptxVIP

第1页/共22页第9章神经网络第2页/共22页第9章 神经网络9.1 引例9.2 人工神经网络9.2.2 神经元模型9.3 BP算法9.4 工具包应用第3页/共22页9.1 引例对于由第1式给出的系统，可以产生一系列的数据假设第1式我们并不知道，但是我们可以用第2式给出的多元线性回归找到近似规律，但这种方式并没有很好的精度人工神经网络可以逼近任意非线性规律第4页/共22页9.2 人工神经网络9.2.1 人工神经网络概述9.2.2 神经元模型9.2.3 网络结构第5页/共22页9.2.1 人工神经网络概述第一个阶段可称之为启蒙阶段(1943年)，这是神经网络理论研究的奠基阶段第二阶段是低潮期（1969年）。《Perception》一书，指出简单的线性感知器的功能是有限的，它无法解决线性不可分的两类样本的分类问题第三个阶段为神经网络的复兴时期（1982年），这是神经网络理论研究的主要发展时期第6页/共22页x1x2y∑Fθ…xn9.2.2 神经元模型其中x1,x2,…,xn是输入y是输出?为内部状态的反馈信息和θ为阈值，F是表示神经元活动的特性函数。特征函数又包括分段线性特性函数、阈值特性函数、S型逻辑特性函数第7页/共22页输入层隐层输出层x1h1y1x2.........hkynxm9.2.3 网络结构根据节点层数，可分为单层网络和多层网络根据有无反馈，可分为前馈网络和反馈网络第8页/共22页9.3 BP算法9.3.1 网络结构和数据示例9.3.2 有序导数9.3.3 计算误差信号对参数的有序导数9.3.4 梯度下降9.3.5 BP算法描述第9页/共22页x0,1f1,1x1,1x0,2f1,2x1,29.3.1 网络结构和数据示例误差计算：误差对a的偏导：误差对b的偏导：让待定参数a和b沿着偏导数的负方向前进，就可以使得总体误差下降第10页/共22页9.3.2 有序导数偏导数：有序导数：计算因变量对自变量的偏导数，可以把另外的自变量作为常数计算有序导数时，不能把另外的自变量作为常数，因为这些自变量可能是这个自变量的函数第11页/共22页9.3.3 计算误差信号对参数的有序导数训练数据的误差信号：误差信号对参数的有序导数：获得误差信号的计算公式获得误差信号对于某个输出的有序导数获得误差信号对于某个参数的有序导数第12页/共22页9.3.4 梯度下降某个参数的改变量：学习速率（改变速率）：让参数向着有序导数的负方向变化，使得误差信号下降参数α增加第1公式计算所得的Δα，就可以使得误差信号下降步长η的取值要适中第13页/共22页9.3.5 BP算法描述输 入：给定训练集Xtrain，其中每一个训练样本都是由一组输入和一组输出构成，所有的输入和输出都是[0,1]之间的浮点数据（如果不是，要首先通过数据变换把它们映射到[0,1]区间）；神经网络结构：隐含层节点数目；神经网络每个节点的、参数化了的特征函数。输 出：神经网络每个节点特征函数的参数。（1）按照有序导数计算公式计算总体误差对于每个参数的有序导数公式（函数）；（2）任意选择一组数据作为初始参数，一般选取（0,0,…,0），把这组初始参数作为当前参数；（3）根据当前参数和总体误差计算公式计算总体误差，如果误差足够小，就把当前参数作为输出，退出；否则，继续下面的步骤；（4）根据参数调整公式和当前参数数值，计算总体误差对于各参数的有序导数数值；（5）计算各个参数的调整大小，并计算调整后的参数大小。把调整后的参数作为当前参数，回到第（3）步。 第14页/共22页9.4 工具包应用第1步，新建数据库第2步，新建数据表第3步，安装补丁第4步，建立数据连接第5步，选择挖掘结构第6步，进行预测第15页/共22页第1步，新建数据库在MS SQL Server 2005中新建一个数据库NeuralDatabase第16页/共22页第2步，新建数据表在数据库NeuralDatabase中新建数据表Table_1第17页/共22页第3步，安装补丁到微软的网站/downloads/details.aspx?displaylang=zh-cnFamilyId=CB6C71EA-D649-47FF-9176-E7CAC58FD4BC下载补丁SQLServer2005SP1-KB913090-x64-CHS.exe安装这个补丁后，可以消除神经网络预测模型中的Bug第18页/共22页第4步，建立数据连接在SQL Server Business Intelligence Development Studio中建立商业智能项目建立这个项目和所新建数据库的连接第19页/共22页第5步，选择挖掘结构对于下拉框“您要是用何种挖掘技术？”，选择“Microsoft 神经网络”按照上图对列进行设置第20页/共22页第6步