第9章神经网络.pptVIP

数据仓库与数据挖掘 第9章 神经网络 第9章 神经网络 9.1 引例 9.2 人工神经网络 9.2.2 神经元模型 9.3 BP算法 9.4 工具包应用 9.1 引例 对于由第1式给出的系统，可以产生一系列的数据 假设第1式我们并不知道，但是我们可以用第2式给出的多元线性回归找到近似规律，但这种方式并没有很好的精度 人工神经网络可以逼近任意非线性规律 9.2 人工神经网络 9.2.1 人工神经网络概述 9.2.2 神经元模型 9.2.3 网络结构 9.2.1 人工神经网络概述 第一个阶段可称之为启蒙阶段(1943年)，这是神经网络理论研究的奠基阶段 第二阶段是低潮期（1969年）。《Perception》一书，指出简单的线性感知器的功能是有限的，它无法解决线性不可分的两类样本的分类问题 第三个阶段为神经网络的复兴时期（1982年），这是神经网络理论研究的主要发展时期 9.2.2 神经元模型 其中x1,x2,…,xn是输入 y是输出 ?为内部状态的反馈信息和 θ为阈值，F是表示神经元活动的特性函数。特征函数又包括分段线性特性函数、阈值特性函数、S型逻辑特性函数 9.2.3 网络结构 根据节点层数，可分为单层网络和多层网络 根据有无反馈，可分为前馈网络和反馈网络 9.3 BP算法 9.3.1 网络结构和数据示例 9.3.2 有序导数 9.3.3 计算误差信号对参数的有序导数 9.3.4 梯度下降 9.3.5 BP算法描述 9.3.1 网络结构和数据示例 让待定参数a和b沿着偏导数的负方向前进，就可以使得总体误差下降 9.3.2 有序导数 计算因变量对自变量的偏导数，可以把另外的自变量作为常数 计算有序导数时，不能把另外的自变量作为常数，因为这些自变量可能是这个自变量的函数 9.3.3 计算误差信号对参数的有序导数 获得误差信号的计算公式 获得误差信号对于某个输出的有序导数 获得误差信号对于某个参数的有序导数 9.3.4 梯度下降 让参数向着有序导数的负方向变化，使得误差信号下降 参数α增加第1公式计算所得的Δα，就可以使得误差信号下降 步长η的取值要适中 9.3.5 BP算法描述 输 入：给定训练集Xtrain，其中每一个训练样本都是由一组输入和一组输出构成，所有的输入和输出都是[0,1]之间的浮点数据（如果不是，要首先通过数据变换把它们映射到[0,1]区间）；神经网络结构：隐含层节点数目；神经网络每个节点的、参数化了的特征函数。 输 出：神经网络每个节点特征函数的参数。 （1）按照有序导数计算公式计算总体误差对于每个参数的有序导数公式（函数）； （2）任意选择一组数据作为初始参数，一般选取（0,0,…,0），把这组初始参数作为当前参数； （3）根据当前参数和总体误差计算公式计算总体误差，如果误差足够小，就把当前参数作为输出，退出；否则，继续下面的步骤； （4）根据参数调整公式和当前参数数值，计算总体误差对于各参数的有序导数数值； （5）计算各个参数的调整大小，并计算调整后的参数大小。把调整后的参数作为当前参数，回到第（3）步。 9.4 工具包应用 第1步，新建数据库 第2步，新建数据表 第3步，安装补丁 第4步，建立数据连接 第5步，选择挖掘结构 第6步，进行预测 第1步，新建数据库 在MS SQL Server 2005中新建一个数据库NeuralDatabase 第2步，新建数据表 在数据库NeuralDatabase中新建数据表Table_1 第3步，安装补丁 到微软的网站/downloads/details.aspx?displaylang=zh-cnFamilyId=CB6C71EA-D649-47FF-9176-E7CAC58FD4BC下载补丁SQLServer2005SP1-KB913090-x64-CHS.exe 安装这个补丁后，可以消除神经网络预测模型中的Bug 第4步，建立数据连接 在SQL Server Business Intelligence Development Studio中建立商业智能项目 建立这个项目和所新建数据库的连接 第5步，选择挖掘结构 对于下拉框“您要是用何种挖掘技术？”，选择“Microsoft 神经网络” 按照上图对列进行设置 第6步，进行预测 上图所示功能说明：各个变量对结果的贡献程度可以直观显示 第6步，进行预测 单击工具图标按钮“切换到查询结果”可以查看计算的结果 随着历史数据量的增加，神经网络模型可以有很好的逼近精度 * * x1 x2 … xn ∑ θ F y . . . 输入层 隐层 输出层 x1 x2 . . . xm h1 hk y1 yn . . . x1,1 x1,2 x0,1 x0,2 f1,1 f1,2 误差计算： 误差对a的偏导： 误差对b的偏导：