Logistic回归-机器学习系列.PDF

机器学习系列 Logistic回归 李海 北京爱亿生健康科技有限公司 预备知识 2 方向导数与梯度 2 极大似然估计(MLE) 3 Logistic 回归的基本概念 4 训练 Logistic 回归模型 5 梯度下降法 (BGD) 6 随机梯度下降法 (SGD) 8 小批量梯度下降法 (MBGD) 9 示例：预测学生是否被录取 10 概述 10 装载数据 10 数据探索 11 数据预处理 12 建立并运行 logistic 回归模型 13 文档中符号说明（本文基本遵循该约定，个别地方可能违背，这时需根据上下文 确定）： l ℝ 表示实空间，ℝ 表示 n 维实空间。 l 普通变量一般用斜体小写字母标识，例如 a，x 。 l 向量一般用小写粗斜体字母标识，例如 a，x 。未转置时向量是指列向量。 l 矩阵一般用大写粗斜字母标识，例如A ，X 。 l 随机变量一般用大写粗斜字母标识，例如 X 。 向量 矩阵 方括号 l 和 展开为分量形式时一律用 []包围。 特殊函数名 专有名称 l 以及 一般用正体字符串标识，大小写字母均可，例如 exp 。 非特定的函数通常用斜体字符串标识，例如普通函数的标识f 。 转置 l 矩阵或向量右上角的 T 表示 ，例如 表示向量x 的转置。 l 矩阵与矩阵、矩阵与向量、向量与向量相连，如果中间没有连接符号，表示 一般的乘法运算，例如Ax 表示矩阵 A 与向量x 的乘法。 数量积 内积 点积 l 若 a 和 b 都是向量，则 a∙b 表示 a 和 b 的 （也称为 或 ）。 预备知识 方向导数与梯度 以二元函数为例，设二元函数f 在固定点 P (x ,y )的某邻域D 内有定义，l 为从 0 0 0 点 P0 出发的射线，动点 P (x ,y )为 l 上且属于 D 内的任一点。如下图所示： y l P P 0 x O