《人工神经网络-SVM-深度学习简介》.ppt

实例. 蠓虫分类问题的神经网络方法（1989年MCM竞赛题目 ） 生物学家试图对两种蠓虫（Af与Apf）进行鉴别，依据的资料 是触角和翅膀的长度，已经测得9只Af和6只Apf的数据如下： 9只Af 触角长：1.24 1.36 1.38 1.38 1.38 1.40 1.48 1.54 1.56 翅膀长：1.72 1.74 1.64 1.82 1.90 1.70 1.82 1.82 2.08 6只Apf 触角长：1.14 1.18 1.20 1.26 1.28 1.30 翅膀长：1.78 1.96 1.86 2.00 2.00 1.96 问题：（1）如何凭借原始资料(15 对数据,被称之为学习样本)制 定一种方法,正确区分两类蠓虫; （2）依据确立的方法,对以下三个样本： (1.24,1.80)，(1.28,1.84)，(1.40,2.04)加以识别 解法一：建立两层前向神经网络如下： 隐层节点可适量选取（没有具体标准）。X= 为输入矩阵， x1对应于触角长， x2对应于翅膀长。Y= 为输出矩阵 规定Af对应的应有输出为 ， Apf对应的应有输出为 输 入 层 隐 层 输 出 层 以上神经网络模型的MATLAB程序如下： x=[1.24 1.36 1.38 1.38 1.38 1.40 1.48 1.54 1.56 1.14 1.18 1.20 1.26 1.28 1.30 1.72 1.74 1.64 1.82 1.90 1.70 1.82 1.82 2.08 1.78 1.96 1.86 2.00 2.00 1.96]; %原始数据 x=x-1.1; %数据标准化 y=[0 0 0 0 0 0 0 0 0 1 1 1 1 1 1; 1 1 1 1 1 1 1 1 1 0 0 0 0 0 0]; %应有的输出 net=newff([0,1;0 1],[5,2],{tansig,tansig}); %建立两层前向神经网络 %net.trainParam.goal=0.0000001; %设定训练误差 net.trainParam.epochs=2000; %设定最大训练步数 net=train(net,x,y); %训练网络 y1=sim(net,x) %输出数据 yy=sim(net,[1.24 1.28 1.40;1.80 1.84 2.04]) %数据泛化 underfitting overfitting good fit 神经网络的问题 1 需要大样本 2 隐层的个数无公式 3 整个计算过程过于模糊，很容易陷入局部最优导致欠拟合或者过拟合 SVM的理论基础 传统的统计模式识别方法只有在样本趋向无穷大时，其性能才有理论的保证。统计学习理论（STL）研究有限样本情况下的机器学习问题。SVM的理论基础就是统计学习理论。 传统的统计模式识别方法在进行机器学习时，强调经验风险最小化。而单纯的经验风险最小化会产生“过学习问题”，其推广能力较差。 推广能力是指: 将学习机器(即预测函数,或称学习函数、学习模型)对未来输出进行正确预测的能力。 SVM 根据统计学习理论，学习机器的实际风险由经验风险值和置信范围值两部分组成。而基于经验风险最小化准则的学习方法只强调了训练样本的经验风险最小误差，没有最小化置信范围值，因此其推广能力较差。 Vapnik 提出的支持向量机（Support Vector Machine, SVM）以训练误差作为优化问题的约束条件，以置信范围值最小化作为优化目标，即SVM是一种基于结构风险最小化准则的学习方法，其推广能力明显优于一些传统的学习方法。 形成时期在1992—1995年。 线性判别函数和判别面 一个线性判别函数(discriminant function)是指由x的各个分量的线性组合而成的函数 两类情况:对于两类问题的决策规则为 如果g(x)0，则判定x属于C1， 如果g(x)0，则判定x属于C2， 如果g(x)=0，则可以将x任意 分到某一类或者拒绝判定。 最优分类面 SVM 是从线性可分情况下的最优分类面发展而来的, 基本思想可用图2的两维情况说明. 图中, 方形点和圆形点代表两类样本, H 为分类线,H1, H2分别为过各