MultiK-MHKSANovelMultipleKernelLearningAlgorithm.docVIP

MultiK-MHKS: A Novel Multiple Kernel Learning Algorithm Zhe Wang; Songcan Chen; Tingkai Sun; Pattern Analysis and Machine Intelligence, IEEE Transactions on Volume: 30 , Issue: 2 Digital Object Identifier: 10.1109/TPAMI.2007.70786 Publication Year: 2008 , Page(s): 348 - 353 IEEE Journals Abstract ?|? Full Text: PDF?(1447 KB) 这篇文章是讲多核学习的问题，就是同时用多个Kernel，把数据映射到若干空间。 1. 首先介绍下一种分类器： 我们有N个训练样本： 类别标号 我们把通过映射到，然后用个阈值来判断一下： 关键就是如何确定和，也就是的问题。 是通过优化两项内容来求的： 1）这项代表错误率，应该尽量小点； 2），系数也不能太大。 于是有了目标函数： 解这个最小化函数就得到了想要的 2. 然后，就是多核的问题了。 有m 个kernel，比如有 一共个核。 对于每个核，求核矩阵 其中每个元素就是俩俩特征的核函数值。 把这个核矩阵进行特征分解： 特征值： 特征向量： 有了和，我们就可以对特征向量直接映射到核空间，而不是简介地通过核函数了。 映射到方法是： ： 用个核，就被映射到了空间去了。 这是一个核的情况，对于m个核，把映射到m个空间去：。 于是，在每个空间中： 变成了 3. 接着，作者把所谓的，拓展到了。 具体地： ： 为了增加俩俩Kernel空间的相关性，要求每个变换矩阵，使得最小。这就是所谓的。一共包含了项，计算起来很难受。 ： 如何直接地把以上俩俩情况推广到m个核定情况呢？作者说：直接把用代替，不要求俩俩最小，而求大家都到均值最小不就行了吗，这样的话就只有项了。 最后，铺垫完了，上正餐！： 于是乎，想想前面的的情况，注意，这里的是已经变换到核空间的Y。 再加上一项来增加各个核空间的相关性，就得到了很多核的情况： 直接通过，求解得到： 似乎得到了解，可惜的是，对于每个核，这里还有个未知量，而。假设已经知道，再求导：，： 好了，请注意看以上的俩式子： 跟互相依赖，这不是明摆着要用迭代算法嘛！ 我们说学英语要有语感，做算法也要有算法感，哥哥咱阅算法无数，看到这形式要用迭代的觉悟还是有的，哈哈！！～ 在迭代中， 直到，迭代完毕。 上算法： 于是有了m个核空间，及其变换函数，来个新的样本，把它映射到这m个空间按去：，用上面求出来的每个核的分类器，就可以得到判别结果了： 总结下来： 多核的方法，以后可以多注意下，好像现在挺流行的； 这篇文章的创新，就是在的基础上，用了multiple-kernel的方法，结合的思想。算起来，只有是作者的创新，而且很简单，但是综合起来就了不起了，这点很值得借鉴。 迭代的思路，其实不光是这个思路，我发现算法也考感觉的，嘿嘿！暂时成为算法感！ 作者是中国人，没王道。