R语言数据挖掘课件-R的人工神经网络：数据预测.ppt

《R语言数据挖掘》《R语言数据挖掘》R的人工神经网络：数据预测学习目标理论方面，理解神经网络分类预测的基本原理，适用性和方法特点。实践方面，掌握R的神经网络实现、应用以及结果解读，能够正确运用神经网络实现数据的分类预测人工神经网络概述人工神经网络（ArtificialNeuralNetwork,ANN）是一种人脑的抽象计算模型，是一种模拟人脑思维的计算机建模方式人工神经网络的应用研究正从人工智能逐步跨入以数据分析为核心的数据挖掘领域，并大量应用于数据的分类和回归预测中。也可应用于聚类分析中人工神经网络由相互连接的神经元，也称处理单元组成。如果将人工神经网络看作一张图，则处理单元也称为节点。节点之间的连接称为边，反映了各节点之间的关联性，关联性的强弱体现在边的连接权重上人工神经网络概述人工神经网络的种类:拓扑结构角度划分两层神经网络三层神经网络和多层神经网络神经网络的最底层称为输入层，最顶层称为输出层，中间层称为隐层。神经网络的层数和每层的处理单元的数量，决定了网络的复杂程度人工神经网络概述处理单元按层次分布于神经网络的输入层、隐层和输出层中，分别称为输入节点、隐节点和输出节点输入节点负责接收和处理训练样本集中各输入变量值。输入节点的个数取决于输入变量的个数隐节点负责实现非线性样本的线性变换，隐层的层数和节点个数可自行指定输出节点给出关于输出变量的分类预测结果，输出节点个数依具体问题而定人工神经网络概述人工神经网络的种类:从连接方式角度划分根据层间连接方式，神经网络可分为前馈式神经网络：前馈式神经网络的节点连接是单向的，上层节点的输出是下层节点的输入反馈式神经网络：除单向连接外，输出节点的输出又作为输入节点的输入层内连接方式是指神经网络同层节点之间是否相互连接人工神经网络中的节点和意义节点：完整的节点由加法器和激活函数组成人工神经网络中的节点和意义节点接收的输入用向量X表示，节点给出的输出用y表示，节点与上层连接的连接权重用向量W表示，节点的偏差用?表示，则第j个节点的加法器定义为：第j个节点的激活函数定义为：人工神经网络中的节点和意义计算示例节点的意义对于分类问题，一个节点是一个分割两个类别的超平面对于回归问题，一个节点是一个回归平面人工神经网络建立的一般步骤建立人工神经网络的一般步骤第一，数据准备输入变量的取值范围通常要求在0至1之间，否则输入变量的不同数量级别将直接影响权重的确定、加法器的计算结果及最终的预测第二，网络结构的确定隐层的层数和每层隐节点个数决定了网络的复杂程度对于隐节点的个数，目前尚没有权威的确定准则人工神经网络建立的一般步骤建立人工神经网络的一般步骤第三，确定连接权重第一步，初始化连接权重向量W第二步，计算各处理单元的加法器和激活函数值，得到样本的预测值第三步，比较样本的预测值与实际值并计算预测误差，根据预测误差值重新调整各连接权重重新返回到第二步，相应的计算和连接权重的调整将反复进行，直到满足迭代终止条件为止。至此，一组相对合理的连接权重便被确定下来，超平面或回归平面也被确定下来感知机模型感知机模型：最基本的前馈式双层神经网络模型，仅由输入层和输出层构成。输出节点只有一个只能实现二分类的预测和单个被解释变量的回归预测感知机的学习过程第一，开始时（即0时刻），初始化各个连接权重和输出节点的偏差感知机模型第二，输入训练样本。t时刻，根据样本输入变量值x=(x1(t),x2(t),…xp(t))和连接权重，计算输出节点的输出值为：第三，t时刻，根据输出节点j的期望值yj(t)，计算输出节点j的期望值与输出值（或预测值）的误差第四，调整第i个输入节点和第j个输出节点之间的连接权重和以及第j个输出节点的偏差：第五，判断是否满足迭代终止条件。如果满足，则算法终止，否则重新回到第二步，直到满足终止条件为止。权重调整策略遵从delta规则，即权重的调整与误差及所连接的输入成正比感知机模型B-P反向传播网络B-P（BackPropagation）反向传播网络是一种典型的人工神经网络，是一种前馈式多层感知机模型B-P反向传播网络的主要特点：包含隐层反向传播激活函数采用Sigmoid函数B-P反向传播网络B-P反向传播网络中隐层的作用实现非线性样本的线性化转化B-P反向传播网络B-P反向传播网络中的反向传播：相对于正向传播正向传播：样本信息从输入层开始，由上至下逐层经隐节点计算处理，上层节点的输出为下层节点的输入，最终样本信息被传播到输出层节点，得到预测结果。正向传播期间所有连接权重保持不变反向传播：B-P反向传播网络无法直