循序渐进的每次选一个样本到中去+1.DOCVIP

HYPERLINK /xpls/abs_all.jsp?arnumber=5708150 Active Learning Based on Locally Linear Reconstruction Zhang, Lijun??Chen, Chun??Bu, Jiajun??Cai, Deng??He, Xiaofei??Huang, Thomas S.??Page(s):?2026 - 2038?Digital Object Identifier :?10.1109/TPAMI.2011.20? HYPERLINK /xpls/abs_all.jsp?arnumber=5708150 Abstract?| Full Text:? HYPERLINK /stamp/stamp.jsp?tp=arnumber=5708150 PDF?(2023KB) 这篇文章讲的是active learning，其实就是说，在半监督学习中，有m个样本，其中只有一小部分是标记了样本，这些样本将用来训练分类器。 而现在问题是：到底该选择哪些样本进行标记才最好呢？ 更具体的说，就是求一个矩阵=[]，这个矩阵的对角线上的元素要是1，那么这个i就被选入了，否则是0，就是落选了。 首先，作者绕个弯子，不说标记样本选择的问题，而是说一个样本重构的问题： 重构： 重构 ： 我们现在要求重构的样本，使得跟原来的样本尽量的像： min 看似是求的问题，可是我们却是求的矩阵，好从中非零的元素得知哪些是。 所以，作者的思路就是，把表达成的函数(),然后把作为变量，优化上面的问题： *=min() 这样就解得了。 现在，我们有俩问题要解决： 如何把表达成的函数()？ 表达成()，如何优化min()，得到最终的解？ 如何把表达成的函数()？ 这个问题，本质上就是说，我们要求=，在求的过程中把选择哪些标记样本（）考虑进去。 为此，要设计另外一个目标函数（|）,通过最小化它来求得： *()=Min（|） 为了构建这个目标函数（|），作者考虑了两个因素： 第一，对于被选择出来作为标记样本的来说，重构之后应该和原始的样本尽可能的相似： 第二，重构之后的所有样本，应该保持原始样本的局部结构特征，这是流行假设所致：在原始空间里是局部近邻的，在重构空间里也应该是： 算出这个局部相似度来以后，又用它来约束重构后的局部特征。 算出这个局部相似度来以后，又用它来约束重构后的局部特征。 这是把原始数据的局部相似度系数，通过QP给算出来，相信大家都很熟悉了。 吧上面两项加起来，就得到了（|） 下面就想想如何把（|）给优化出来： 的第二项，在流行学习中很常见，只是吧降维后的y变成了重构后的q而已： 这一项，其实可以先做所有的norm2 distance，而不是只挑出来的加： = 然后再把挑出来，具体做法是通过中的零一选择： 1 1 = 0 1 0 0 = 现在*()=Min（|）的问题就可以解决了。 具体如何解呢？ 很简单，直接对矩阵求导,然后置零： 就得到了 这就是*()= 表达成()，如何优化min()，得到最终的解？ min()， 把上一步得到的带进去 现在好了，还剩下一个优化问题了： 那么，咋来优化它呢？ 作者有两套思路： 循序渐进的，每次选一个样本到中去：+1= 对于这个思路，最重要的就是你已经有了n个选择的样本之后，如何选择第n+1让最小化。 首先，我们要先从数学上，吧如何选择某个样本，把它作为第个样本把它加入，用数学矩阵的形式表示出来： +1=010 0 1 0 0 1 0 0 1 0 0 +1 0 1 1 0 1 = + 我要做的就是，当中的由变为，也就是其中一个从0变为1的时候，应该是选哪个，才能让最小呢？ 这个问题嘛，咋解决呢？ 当然，最简单的方法就是中一个个尝试，但是，这样太耗时间了，作者经过一点巧妙的变换，可以快很多： 是 Sherman-Morrison-Woodbury formula （） （） 这一项，跟i无关，滚蛋 这一项里也没有i，表达成独立的式子。 这样就可以快速的算出来哪个i比较好了: ,同时+1= 同时，我们还可以更新一下 上算法： 这都是初始化 这是迭代的更新的过程。 一次性的把给解出来 如果我们不想拖泥带水的一次一次的解决上面这个优化的问题，我们也可以来个痛快的。 咋才能痛快呢？我们从目标函数入手看看： 变通一下，本来我们求一个对角矩阵，现在我们把它表示成一个向量： 如果硬碰硬直接解决这个问题，是非常麻烦的，因为的约束太难符合了