关于统计学习的理论博大精深..docVIP

关于统计学习的理论博大精深，想要弄明白是需要花费很大功夫的，涉及到方方面面的数学知识(比如泛函分析、高等数学、概率论、统计学…….)，我这里也就是把一些基本概念、理论规整一下。 ?????? 存在一个未知的系统、给定的输入样本空间和这些输入样本通过处理后的输出。机器学习的过程可以看做是这样的：利用机器学习的方法，根据和得到一个学习机(也可以叫模型)，学习机在接受训练、测试样本以外的样本后得到的输出可以被认为是未知系统针对输入得到的输出的近似，所以这个学习机可以认为是对的内在规律的近似。 ?????? 实际上，可以将从输入空间产生样本(向量)看做从于某个客观存在的、确定的但是未知的概率分布函数中相互独立地抽取出来的；显然由这些通过产生的输出服从，而我们的学习器应该是一个函数集合，这里的为参数集合，例如：线性分类器集合为，通过对参数的不同取值，我们可以得到一个函数集合；那么寻找这个学习器的过程就变成了从这个函数集合中找出能最佳逼近输入样本的函数。输入和输出服从联合概率分布函数，也就是说所有训练数据、测试数据的都是从中相互独立地抽取出来的样本。 ??????? 那么如何衡量逼近是否最佳呢？需要定义一个损失函数：? (当输入为时，度量学习器的输出和由系统得出的输出之间的差异)。 还记得连续随机变量函数的数学期望不？ 设连续随机变量的概率密度为，若其函数，则随机变量的数学期望定义为： ???