ENVI4.3 支持向量机分类原理、操作与实例分析.pdfVIP

航天星图科技 （北京）有限公司 ENVI4.3 支持向量机分类原理、操作及实例分析 一、支持向量机算法介绍 1. 支持向量机算法的理论背景 支持向量机分类（Support Vector Machine 或SVM ）是一种建立在统计学习 理论（Statistical Learning Theory 或SLT ）基础上的机器学习方法。 与传统统计学相比，统计学习理论 （SLT ）是一种专门研究小样本情况下及 其学习规律的理论。该理论是建立在一套较坚实的理论基础之上的，为解决有限 样本学习问题提供了一个统一的框架。它能将许多现有方法纳入其中，有望帮助 解决许多原来难以解决的问题，如神经网络结构选择问题、局部极小点问题等； 同时，在这一理论基础上发展了一种新的通用学习方法——支持向量机 （SVM ）， 已初步表现出很多优于已有方法的性能。一些学者认为，SLT 和SVM 正在成为继 神经网络研究之后新的研究热点，并将推动机器学习理论和技术的重大发展。 支持向量机方法是建立在统计学习理论的VC 维（VC Dimension ）理论和结 构风险最小原理基础上的，根据有限的样本信息在模型的复杂性（即对特定训练 样本的学习精度）和学习能力（即无错误地识别任意样本的能力）之间寻求最佳 折衷，以期获得最好的推广能力。 支持向量机的几个主要优点有： （1 ） 它是专门针对有限样本情况的，其目标是得到现有信息下的最优解而不仅 仅是样本数趋于无穷大时的最优值； （2 ） 算法最终将转化成为一个二次型寻优问题，从理论上说，得到的将是全局 最优点，解决了在神经网络方法中无法避免的局部极值问题； （3 ） 算法将实际问题通过非线性变换转换到高维的特征空间(Feature Space)，在高维空间中构造线性判别函数来实现原空间中的非线性判别函 数，特殊性质能保证机器有较好的推广能力，同时它巧妙地解决了维数问 题，其算法复杂度与样本维数无关； 2. 支持向量机算法简介 通过学习算法，SVM 可以自动寻找那些对分类有较大区分能力的支持向量， 由此构造出分类器，可以将类与类之间的间隔最大化，因而有较好的推广性和较 高的分类准确率。 ———————————————————————————————————————————— 1 —— 0101/2/3 北京市朝阳区德胜门外华严北里甲1 号健翔山庄D5-D6 航天星图科技 （北京）有限公司 最优分类面（超平面）和支持向量 SVM 的主要思想是针对两类分类问题，在高维空间中寻找一个超平面作为两 类的分割，以保证最小的分类错误率。而且SVM 一个重要的优点是可以处理线性 不可分的情况。 用SVM 实现分类，首先是要从原始空间中提取特征，将原始空间中的样本映 射为高维特征空间中的一个向量，以解决空间中线性不可分的问题。 3. 支持向量机算法的应用现状和前景 目前，SVM算法在模式识别、回归估计、概率密度函数估计等方面都有应用。 例如，在模式识别方面，对于手写数字识别、语音识别、人脸图像识别、文章分 类等问题，SVM 算法在精度上已经超过传统的学习算法或与之不相上下。 由于SVM方法较好的理论基础和它在一些领域的应用中表现出来的优秀的推 广性能，近年来，许多关于SVM方法的研究，包括算法本身的改进和算法的实际 应用，都陆续提了出来。目前，SVM 方法在分类方面的应用比较多，ENVI4.3首 开先河，在其丰富的分类方法中又引入了SVM方法，成为同类遥感软件的领头羊。 二、在ENVI4.3 中实现支持向量机分类的操作过程及实例分析 在ENVI4.3 中进行支持向量机（SVM ）分类操作简单、便于掌握。“打开待分 类的影像- 选择感兴趣区- 设置 SVM 参数- 进行分类”，分类只需进行这几 个简单步骤。 1) 打开影像 在ENVI4.3 中打开影像。此测试影像为1200*1200 的整型四波段QuickBird 数据。 ———————————————————————————————————————————— 2 —— 0101/2/3 北京市朝阳区德胜门外华严北里甲1 号健翔山庄D5-D6