非概率观点理解Logistic分类方法.docxVIP

不加入概率观点理解Logistic分类方法考虑D维的欧式空间，其上每一个向量x，让它对应一个标签值t，t的是一个只取0或1的二元变量：t=1 表示“x属于类别1”，t=0 表示“x属于类别0”。现在已知上的N个点，以及对应的它们各自的标签值，考虑下面的问题：如果再来一个新的D维向量，能不能根据上面的已知信息，推断它属于哪个类别，即对应的标签值等于1还是等于0呢？Logistic分类方法是这样做的：找一个D元函数，将x映射到（0,1）区间内，如果大于0.5，则认为 t=1；若小于0.5，则认为t=0。（等于0.5怎么办？随便吧反正归哪类都合适。）这样的姑且被称为压缩函数，因为它把D维空间压缩到了1维空间上，而且还是一个区间内。这个压缩函数有如下的表达式：其中是Logistic函数：是D维向量，是个实数。如何找？根据已知的和，找到合适的和，就可以确定下，并对任何一个新的向量进行分类了。在寻找合适的和之前，有三个问题没有交代清楚。问题1：压缩函数F(x)为什么是用Logistic函数衍生出来的？如果仅仅是想映射到（0,1）区间，好多函数都可以啊，比如arctan经过处理之后也可以。问题2：F(x)表达式中，exp里的指数为什么是x的线性变换，为什么不是其他形式的变换？问题3：对新向量进行分类判定时，为什么拿F(x)跟0.5比？为什么不是0.6或0.4什么的？这三个问题在不涉及概率的背景下解释不清楚，暂且忽略掉这三个问题，只管接受F(x)这种奇特的表达形式，将目标转移到如何寻找合适的和上面来。那该如何理解“合适”这个词呢？显然，一个“合适”的压缩函数，应当把x压缩得距离它的标签值t尽量得近。比如x如果属于类别1，那么F(x)就应当尽量接近1，最好等于1。即F(x)和t之间的“距离”越小越好。那么用什么样的形式来表达这样的“距离”呢，一个很自然的想法是直接取差值，即令来表示F(x)和t之间的“距离”，注意到这个E是和的函数，但是等式两侧都没有显式地写出来。另外，相对于绝对值，我们更习惯平方，干脆把右边写成绝对值平方的形式。于是“距离”函数变成了如下的形式：注意右边依然没有显式写出和，但是它是和的函数。但是事实上，这种距离的定义方式没有被采纳在Logistic的分类方法上，因为仔细想想，以上定义默认了F这个压缩函数将整个空间均匀地压缩在了（0,，1）区间上，事实上不是的。越靠近0或1的部分，被压缩进来的向量就越多，整个（0,1）区间是不均匀的。实际应用中，上面的“距离”定义方式常被用在最小二乘法上，即线性拟合，因为线性变换是“均匀地压缩或放大”的。那么Logistic分类方法采用的是哪种“距离”呢？形式如下：先不考虑为什么它采用的距离会长这样，在没有概率观点做背景的条件下，只能理解为数学家们当时灵光一闪就想到了。有人叫它误差函数，我们先花点时间看看这个误差函数。假如某向量x属于类别1，即t=1，被压缩到（0,1）区间上的点F(x)和点1有多大距离呢，带入上式发现这个距离是，如果F(x)在（0,1）区间上靠近它的标签值1，那这个距离值就比较小，暗示我们F把x压缩得还比较正确；如果F(x)在（0,1）区间上靠近0，这个距离值就相当大，也告诉我们压错了，0不是我们想看到的标签值。从这个意义上说，这个误差函数，或者叫做距离，定义得是合理的。那接下来的工作就很简单了，就是寻找合适的和，使得已知的N个向量对应的“距离”总和最小即可。即使得下面表达式最小：.注意上式的和上上式的是一个意思，而上式的变成了误差（即距离）的总和。怎么求最小？显然是求导令导数等于0. 一番计算得到如下的式子：，其中[ ]内的第一个表达式得到的是个D维向量，对应关于的各个分量求出的导数，第二个表达式是个实数对应关于求出的导数。上式是关于和的方程，解这个比较麻烦，不解了，换一种方法，牛顿下山法，直接对前面的操作，不断地求梯度，取步长，最后迭代得到的和就是上面方程的解。至此关于Logistic分类方法的理解就结束了。总结一下，我们做了哪几部工作呢？1.写出压缩函数F(x)的表达形式2.对如下的表达式求取最小值：，3.将最小值点处对应的和带入F(x)，一个判别函数就确定下来了。4.对任意的x，拿F(x)跟0.5比较，并分类。但是还有一个问题来了：Logistic分类方法确实构造了文中说的F(x)，但是在上述第一步和第二步之间还有一步工作，就是构造了如下的表达式：。然后对其求取对数，才到了上面的步骤2，即求最值。文中省略掉了这一步。这里的解释是：用非概率的观点看Logistic分布，省略掉这一步而直接将取对数后的表达式看做“距离”，更方便理解。在概率观点里，即极大似然估计的观点里，上面的表达式是有意义的，可以回头细表。接下来讨论你说的问题之一：即这个压缩函数F(x)到底是不是概率？我的