6分类与预测 (PPTminimizer).pptVIP

* Data Mining: Concepts and Techniques * 6.6 人工神经网络的互联结构 人工神经网络的互连结构（或称拓扑结构）是指单个神经元之间的连接模式，它是构造神经网络的基础，也是神经网络诱发偏差的主要来源。从互连结构的角度： 前馈网络 反馈网络 单层前馈网络 多层前馈网络 单层反馈网络 多层反馈网络 仅含输入层和输出层，且只有输出层的神经元是可计算节点 除拥有输入、输出层外，还至少含有一个、或更多个隐含层的前向网络 指不拥有隐含层的反馈网络 指拥有隐含层的反馈网络 可含有反馈联结 只包含前向联结 * Data Mining: Concepts and Techniques * 前馈网络 单层前馈网络是指那种只拥有单层计算节点的前向网络。它仅含有输入层和输出层，且只有输出层的神经元是可计算节点，如下图所示 其中，输入向量为X=(x1,x2,…,xn)；输出向量为Y=(y1,y2,…,ym)；输入层各个输入到相应神经元的连接权值分别是wij，i=1,2,..,n，j=1,2,.., m。 … … x1 X2 X3 xn y1 Y2 ym 权值 wij 输出层 输入层 单层前馈网络结构 6.6 人工神经网络的互联结构 * Data Mining: Concepts and Techniques * 若假设各神经元的阈值分别是θj，j=1,2,…,m，则各神经元的输出yj, j=1,2,..,m分别为： 其中，由所有连接权值wij构成的连接权值矩阵W为： 在实际应用中，该矩阵是通过大量的训练示例学习而形成的。 * Data Mining: Concepts and Techniques * 多层前馈网络是指那种除拥有输入、输出层外，还至少含有一个、或更多个隐含层的前馈网络。 隐含层是指由那些既不属于输入层又不属于输出层的神经元所构成的处理层,也被称为中间层。隐含层的作用是通过对输入层信号的加权处理，将其转移成更能被输出层接受的形式。 多层前馈网络的输入层的输出向量是第一隐含层的输入信号，而第一隐含层的输出则是第二隐含层的输入信号，以此类推，直到输出层。 多层前馈网络的典型代表是BP网络。 x1 X2 Xn y1 Ym 隐含层 输出层 输入层 多层前馈网络结构 … … … 权值 权值 * Data Mining: Concepts and Techniques * 反馈网络 是指允许采用反馈联结方式所形成的神经网络。所谓反馈联结方式是指一个神经元的输出可以被反馈至同层或前层的神经元。 反馈网络和前向网络不同： 前向网络属于非循环连接模式，它的每个神经元的输入都没有包含该神经元先前的输出，因此不具有“短期记忆”的性质。 反馈网络则不同，它的每个神经元的输入都有可能包含有该神经元先前输出的反馈信息，即一个神经元的输出是由该神经元当前的输入和先前的输出这两者来决定的，这就有点类似于人类的短期记忆的性质。 * Data Mining: Concepts and Techniques * 单层反馈神经网络 * Data Mining: Concepts and Techniques * 人工神经网络的模型是指对网络结构、联结权值和学习能力的总括。 常用的网络模型已有数十种。例如： 传统的感知机模型， 具有误差反向传播功能的反向传播网络模型， 采用多变量插值的径向基函数网络模型， 建立在统计学习理论基础上的支撑向量机网络模型， 采用反馈联接方式的反馈网络模型， 基于模拟退火算法的随机网络模型。 6.6 人工神经网络的典型模型 * Data Mining: Concepts and Techniques * 感知器是美国学者罗森勃拉特（Rosenblatt）于1957年为研究大脑的存储、学习和认知过程而提出的一类具有自学习能力的神经网络模型，其拓扑结构是一种分层前向网络。它包括： 单层感知器 多层感知器 6.6 人工神经网络的典型模型 * Data Mining: Concepts and Techniques * 分为：单层感知器和多层感知器 单层感知器是一种只具有单层可调节连接权值神经元的前向网络，这些神经元构成了单层感知器的输出层，是感知器的可计算节点。 在单层感知器中，每个可计算节点都是一个线性阈值神经元。当输入信息的加权和大于或等于阈值时，输出为1，否则输出为0或-1。 单层感知器的输出层的每个神经元都只有