神经网络课堂讲义.pptVIP

两种学习方法 最近邻分类器 最近邻分类器的特点 人工神经网络 主要内容 人工神经网络 人工神经网（Artificial Neural Network，ANN）是20世纪80年代后期迅速发展起来的人工智能技术，对未经训练的数据具有分类模拟的能力，因此在网站信息、生物信息和基因以及文本的数据挖掘等领域得到了越来越广泛的应用。 人工神经网络分为前馈和递归。 在前馈神经网络中,每一层的节点仅和下一层的节点相连。其中最简单的模型是感知器。 在递归神经网络中，允许同一层节点或一层的节点连到前面各层中的节点。 感知器 人的视觉是重要的感觉器官，人通过视觉接受的信息占全部信息量的80~85%。 感知器是模拟人的视觉，接受环境信息，并由神经冲动进行信息传递的神经网络。 感知器分单层与多层，是具有学习能力的神经网络。 单层感知器 单层感知器模型三要素 常见形式的激活函数 符号函数 线性函数 用于多层感知器模型。 双曲正切函数 以符号函数为例 学习单层感知器模型 学习单层感知器模型(续) 单层感知器学习算法的流程图 单层感知器训练步骤可总结如下： 线性可分问题 线性不可分问题 异或（XOR）问题 在二维平面中不存在一条直线，将输入模式分为两类。可见：单层感知器不能解决异或问题。 单层感知器的局限性 由于单层感知器的激活函数是符号函数，则感知器神经网络的输出只能取-1或1。因此单层感知器只能用于简单的分类问题。 只能解决线性可分问题，而大量的分类问题是线性不可分的。 当输入矢量中有一个数比其他数都大或小得很多时，可能导致较慢的收敛速度。 多层感知器 多层感知器(MLP)是一种多层前馈网络模型，它通常由三部分组成： (1)一组感知单元组成输入层 (2)一层或多层计算节点的隐藏层 (3)一层计算节点的输出层 它广泛应用于模式识别、图像处理、函数逼近、优化计算等领域。 根据Kolmogorov定理，只要给定足够数量 的隐藏层节点、适当的非线性函数、 以及权重，任何由输入向输出的连续映射 函数均可用一个三层前馈神经网络实现。  三层感知器的预测公式 三层感知器解决异或(XOR)问题 网络拓扑结构 网络拓扑结构(续) 网络拓扑结构(续) 学习多层感知器模型 学习多层感知器模型(续) 学习多层感知器模型(续) 人工神经网络的特点 具有自学习功能。例如实现图像识别时，只在先把许多不同的图像样板和对应的应识别的结果输入人工神经网络，网络就会通过自学习功能，慢慢学会识别类似的图像。自学习功能对于预测有特别重要的意义。 至少含有一个隐藏层的多层神经网络是一种普适近似，即可以用来近似任何目标函数 。 可以处理冗余特征。 神经网络对训练数据中的噪声非常敏感。 训练ANN是一个很耗时的过程，特别当隐藏节点数量很大时。 可以建构非线性的模型，模型的准确度高。 数据的准备问题 神经网络对数据量有最低要求，一般情况下，一个权重至少需要10个训练数据。 通过输入节点将输入变量加以标准化，标准化后的变量数值落在0和1之间，或者是-1和1之间。 数据不能含有缺失值和离群点。 属性变量必须是数值型。 当有成百上千个属性变量时，神经网络效果就不是很好。 最近邻分类器 右图中显示的分类框架包括两个步骤： (1)归纳步，由训练数据建立分类模型； (2)演绎步，把模型应用于测试样例。