机器学习-神奇的逻辑回归.docxVIP

? ? 跟我一起学机器学习 -- 神奇的逻辑回归 ? ? 前面我们已经学过了逻辑回归，但并没有扩展性的深入探讨，毕竟这个模型十分简单易懂。其实模型之间是有关联的，比如Logistic Regression引出SVM回归模型。 首先，我们再回归一下Logistic Regression 逻辑回归进行分类的主要思想是：根据现有数据对分类边界线建立回归公式，以此进行分类。我们想要的函数应该是，能接受所有的输入然后预测出类别。例如，对于而分类问题，该函数应该返回0或1。 逻辑回归假设函数如下 它对θTX作了一个函数g变换，映射至0到1的范围之内，而函数g称为sigmoid function或者logistic function，函数图像如下图所示。 逻辑回归是用来得到样本属于某个分类的概率，当输入z等于0时，Sigmoid函数值为0.5。随着z的增大，对应的函数值趋近于1；随着z的减小，对应的函数值趋近于0。 然后，我们通过逻辑回归引出SVM 我们发现hθ(x)只与θTX有关，θTX＞0，则hθ(x)＞0.5.g(z)只不过是用来映射，真实的类别决定权还在θTX。模型达到的目标无非就是让训练数据中y=1的特征θTX0，而是y=0的特征θTX0。Logistic回归就是要学习得到θ，使得正例的特征远大于0，负例的特征远小于0，强调在全部训练实例上达到这个目标。 上图中间那条线