金伯一核函数方法调研报告.docVIP

调研报告 一、本课题的来源及意义 支持向量机自20世纪90年代初提出,迄今已经历了10年的发展。它在应用方面,如模式识别、预测以及聚类等,成 功的例子屡见不鲜 ,在理论上也取得了很大进展。支持向量机由核函数与训练集完全刻画。核函数本质上是一个内积 或点积 。核函数的思想后来发展成核方法,即通过引入核函数,把基于内积运算的线性算法非线性化。核方法为处理许多问题提供了一个统一的框架。除支持向量机外,还有基于核的主成分分析、基于核的Fisher判决等。 核函数理论已有很长的历史,Mercer定理可追溯到1909年;再生核 ReproductionKernel Hilbert理论是20世纪40年代发展起来的;1975年,Poggio首次用到了多项式核函数。但是,直到Boser,Guyon和Vapnik将之用于支持向量机之前,它的重要性没有受到充分重视。 支持向量机创立之初,人们多关心基于核函数的算法的设计。后来认识到,提高支持向量机性能的关键之一,是设计适合给定问题的核函数。这就要求对核函数本身有深入了解。核函数的一些基本性质,重要核函数,即平移不变核函数、旋转不变核函数和卷积核,提出了简单实用的判别准则。在此基础上,验证和构造了很多重要核函数,其中一些是我们经常用到的。 二、国内外发展现状 核函数方法的广泛应用,与其特点是分不开的：核函数的引入避免了“维数灾难”,大大减小了计算量。而输入空间的维数n对核函数矩阵无影响，因此，核函数方法可以有效处理高维输入。无需知道非线性变换函数Φ的形式和参数.核函数的形式和参数的变化会隐式地改变从输入空间到特征空间的映射，进而对特征空间的性质产生影响，最终改变各种核函数方法的性能。核函数方法可以和不同的算法相结合，形成多种不同的基于核函数技术的方法，且这两部分的设计可以单独进行，并可以为不同的应用选择不同的核函数和算法。 、、、、、、、、、、[1,2]。 本课题的研究目的、内容、方法、手段： 根据模式识别理论，低维空间线性不可分的模式通过非线性映射到高维特征空间则可能实现线性可分，但是如果直接采用这种技术在高维空间进行分类或回归，则存在确定非线性映射函数的形式和参数、特征空间维数等问题，而最大的障碍则是在高维特征空间运算时存在的“维数灾难”。采用核函数技术可以有效地解决这样问题。 设x,z∈X,X属于R（n）空间,非线性函数Φ实现输入间X到特征空间F的映射,其中F属于R（m）,n m。根据核函数技术有： K x,z Φ x ,Φ z 1 其中： , 为内积,K x,z 为核函数。从式 1 可以看出，核函数将m维高维空间的内积运算转化为n维低维输入空间的核函数计算，从而巧妙地解决了在高维特征空间中计算的“维数灾难”等问题，从而为在高维特征空间解决复杂的分类或回归问题奠定了理论基础。 根据模式识别理论，低维空间线性不可分的模式通过非线性映射到高维特征空间则可能实现线性可分，但是如果直接采用这种技术在高维空间进行分类或回归，则存在确定非线性映射函数的形式和参数、特征空间维数等问题，而最大的障碍则是在高维特征空间运算时存在的“维数灾难”。采用核函数技术可以有效地解决这样问题。 设x,z∈X,X属于R（n）空间,非线性函数Φ实现输入间X到特征空间F的映射,其中F属于R（m）,n m。根据核函数技术有： K x,z Φ x ,Φ z 1 其中： , 为内积,K x,z 为核函数。从式 1 可以看出，核函数将m维高维空间的内积运算转化为n维低维输入空间的核函数计算，从而巧妙地解决了在高维特征空间中计算的“维数灾难”等问题，从而为在高维特征空间解决复杂的分类或回归问题奠定了理论基础。为计算机在线生产控制创造了有利条件。最优控制的对象也将从对机械、电气、化工等硬系统的控制转向对生态、环境以至社会经济系统的控制[]。 四、、六、 大连交通大学2015届本科生毕业论文调研报告 3