Logistic回归(逻辑回归)总结.pdf

Logistic 回归总结 作者：靠谱哥 微博：洞庭之子-Bing （2013 年11 月） （本文为作者原创，转载请注明出处） 出处：/dongtingzhizi/article/details 1 引言 看了Stanford 的Andrew Ng 老师的机器学习公开课中关于Logistic Regression 的 讲解，然后又看了《机器学习实战》中的Logistic Regression 部分，写下此篇学 习笔记总结一下。 首先说一下我的感受，《机器学习实战》一书在介绍原理的同时将全部的算法 用源代码实现，非常具有操作性，可以加深对算法的理解，但是美中不足的是 在原理上介绍的比较粗略，很多细节没有具体介绍。所以，对于没有基础的朋 友（包括我）某些地方可能看的一头雾水，需要查阅相关资料进行了解。所以 说，该书还是比较适合有基础的朋友。 本文主要介绍以下三个方面的内容： （1） Logistic Regression 的基本原理，分布在第二章中； （2 ） Logistic Regression 的具体过程，包括：选取预测函数，求解Cost 函数和 J  ，梯度下降法求J  的最小值，以及递归下降过程的向量化     （vectorization ），分布在第三章中； （3 ） 对《机器学习实战》中给出的实现代码进行了分析，对阅读该书Logistic Regression 部分遇到的疑惑进行了解释。没有基础的朋友在阅读该书的 Logistic Regression 部分时可能会觉得一头雾水，书中给出的代码很简单， 但是怎么也跟书中介绍的理论联系不起来。也会有很多的疑问，比如： 一般都是用梯度下降法求损失函数的最小值，为何这里用梯度上升法呢？ 书中说用梯度上升发，为何代码实现时没见到求梯度的代码呢？这些问 题在第三章和第四章中都会得到解答。 文中参考或引用内容的出处列在最后的“参考文献”中。文中所阐述的内容仅 仅是我个人的理解，如有错误或疏漏，欢迎大家批评指正。下面进入正题。 2 基本原理 Logistic Regression 和Linear Regression 的原理是相似的，按照我自己的理解， 可以简单的描述为这样的过程： 1. 找一个合适的预测函数（Andrew Ng 的公开课中称为hypothesis ），一般表 h 示为 函数，该函数就是我们需要找的分类函数，它用来预测输入数据的判 断结果。这个过程时非常关键的，需要对数据有一定的了解或分析，知道或 者猜测预测函数的“大概”形式，比如是线性函数还是非线性函数。 h 2. 构造一个Cost 函数（损失函数），该函数表示预测的输出（ ）与训练数 y 据类别（ ）之间的偏差，可以是二者之间的差（h y ）或者是其他的形 式。综合考虑所有训练数据的“损失”，将Cost 求和或者求平均，记为 J  函数，表示所有训练数据预测值与实际类别的偏差。   h 3. 显然，J  函数的值越小表示预测函数越准确（即 函数越准确），所以   这一步需要做的是找到J  函数的最小值。找函数的最小值有不同的方法，   Logistic Regression 实现时有的是梯度下降法（Gradient Descent ）。 3 具体过程 3.1 构造预测函数 Logistic Regression 虽然名字里带“回归”，但是它实际上是一种分类方法，