教材配套教学——神经网络.PPT

实验步骤 步骤1：准备训练数据 步骤2：定义网络体系结构，设置相关参数 步骤3：训练网络 步骤4：解释训练结果 步骤5：结果不理想，更改结构，调整参数，重复实验 * 第*页，共36页 图6.10 第一次神经网络的GUI界面 图6.13 第二次实验的XOR神经网络GUI界面 【例6.7】 使用iris数据集，运用BP学习方法，建立议前馈神经网络分类模型。 实验步骤 步骤1：准备训练数据 步骤2：定义网络体系结构，设置相关参数 步骤3：训练网络 步骤4：解释训练结果 * 第*页，共36页 图6.17 iris神经网络的GUI界面 6.3 神经网络模型的优势和缺点 优势 与其他技术相比，更为擅长处理包含大量噪声数据的数据集； 通过对分类类型数据的变换，神经网络不仅可以处理数值型数据，还可以处理分类类型数据； 有悠久的历史，研究得到普遍重视，并已经在很多领域中得到广泛应用，且表现良好； 神经网络既可以用于有指导的学习，也可以用于无指导的聚类。 * 第*页，共36页 缺点 最大的缺点是它是一个黑盒子型模型，对于自身的解释能力不强； 神经网络学习算法不能保证收敛到最理想的结果，所以经常需要通过选择多种学习参数反复实验才能得以解决； 神经网络很容易过度训练，从而导致在训练数据上工作得很好，而在检验数据上表现欠佳，可以通过不断检查检验集性能来解决。 * 第*页，共36页 本章小结 * 第*页，共36页 图6.20 第6章内容导图 * 清华大学出版社 第6章 神经网络 神经网络概述 神经网络训练 神经网络模型的优势和缺点 本章目标 了解神经网络基本概念 了解神经网络的输入和输出数据的格式 了解激励函数 掌握反向传播学习方法 了解自组织映射无指导聚类方法 学会应用Bp算法建立前馈神经网络 了解神经网络模型的优势和缺点 * 第*页，共36页 6.1 神经网络概述 神经网络（Neural Networks，NN） 人工神经网络（Artificial Neural Networks，ANN）的简称。 具有统计特性的数学模型。 创建思想源于人类神经网络的结构、功能和运行过程。 神经元（Neurodes） 神经网络中的知识，表示为处理单元节点的集合。 突触（Synapse） 每个节点与邻近层节点之间的加权连接。 权重（weight）值 连接间的权值，相当于神经网络的记忆。 激励函数（activation function） 每个节点的输出由一个输出函数计算所得。 * 第*页，共36页 6.1.1神经网络模型 单层神经网络由一个输入层（Input layer）和一个输出层（Output layer）组成。 * 第*页，共36页 输入向量——输入数据，输入层节点数由训练实例的输入属性个数决定。 输出向量——输出数据，输出层节点数由问题和应用决定。 隐层个数和每个隐层内的节点个数一般可由用户指定，一般的，隐层被限定为两个，隐层节点数为输入节点的1.2倍到1.5倍。 图6.1 全连接前馈神经网络结构 6.1.2 神经网络的输入和输出数据格式 1、神经网络输入格式 落在[0，1]闭区间内的数值类型。 实际应用中，需要将分类数据变换为[0,1]区间的数值数据。 两种方法—— 方法一：将[0,1]区间分为大小相等的间隔，将间隔点上的取值作为分类类型数据的数值表示。 方法二：对输入数据进行二进制编码，增加输入结点，用两个或多个输入节点表示一个输入属性。 * 第*页，共36页 【例6.1】 某投资公司的客户数据集中“账户类型”属性为分类类型属性，它有四种取值，分别为“基本账户”、“一般账户”、“临时账户”和“专用账户”。若将“账户类型”属性作为神经网络的输入数据，就必须进行数据变换，使之成为[0,1]区间的数值数据。 变换 目标——对“账户类型”属性进行落在[0,1]区间的分类-数值变换。方法——使用方法一和方法二进行数据变换。 结果——如表6.1所示 * 第*页，共36页 表6.1 “账户类型”属性的分类-数值变换 序号 分类类型属性值 [0,1]区间数值型属性值（方法一） [0,1]区间数值型属性值（方法二） 1 基本账户 0 [0,0] 2 一般账户 0.33 [0,1] 3 临时账户 0.67 [1,0] 4 专用账户 1 [1,1] 常见的数据归一化方法 （1）十进制缩放（Decimal scaling） （2）min-max标准化（Min-Max normalization） （3）Z-Score标准化（Normalization using Z-scores） （4）对数标准化（Logarithmic normalization） （5）Atan函数转换（Atan normalization） * 第*页，共36页 6.1.2 神经网络的输入和输出数据