统计学习理论与支持向量机算法.pptVIP

引言 统计学习理论讨论的是基于数据的机器学习问题 研究如何从一些观测数据(样本)出发得出目前尚不能通过原理分析得到的规律，即基于观测设计优化过程，然后利用这些规律去分析客观对象，对未来数据或无法观测的数据进行预测。 主要任务：对于一种未知的依赖关系，以观测为基础对它进行估计。 现有机器学习方法共同的重要理论基础之一是统计学 传统统计学研究的是样本数目趋于无穷大时的渐近理论，现有学习方法也多是基于此假设。 但在实际问题中，样本数往往是有限的，因此一些理论上很优秀的学习方法实际中表现却可能不尽人意。 统计学习理论(Statistical Learning Theory 或SLT ) 是一种专门研究小样本情况下机器学习规律的理论 Vladimir N. Vapnik等人从六、七十年代开始致力于此方面研究，到九十年代中期，随着其理论的不断发展和成熟，也由于神经网络等学习方法在理论上缺乏实质性进展, 统计学习理论开始受到越来越广泛的重视。 统计学习理论是建立在一套较坚实的理论基础之上的，为解决有限样本学习问题提供了一个统一的框架。 在这一理论基础上发展了一种新的通用学习方法——支持向量机(Support Vector Machine或SVM )，它已初步表现出很多优于已有方法的性能。 统计学习理论 经典的统计基础存在两个理论缺陷 没有对经验风险最小化原则下统计学习的一致性进