机器学习算法系列(3)：逻辑斯谛回归.pdfVIP

机器学习算法系列（3）：逻辑斯谛回归 ⼀、逻辑斯谛分布 介绍逻辑斯谛回归模型之前，⾸先看⼀个并不常⻅的概率分布，即逻辑斯谛分布。设X 是连续随 机变量，X 服从逻辑斯谛分布是指X 具有下列的分布函数和密度函数： 1 F(x) = P(X ≤ x) = 1 + e − (x −µ ) / γ e − (x −µ ) / γ f (x) = F , (x) = − (x −µ ) / γ 2 γ (1 + e ) 式中，µ 为位置参数，γ 0为形状参数。逻辑斯谛的分布的密度函数f (x)和分布函数F(x)的图形如 1 下图所示。其中分布函数属于逻辑斯谛函数，其图形为⼀条S形曲线。该曲线以点(µ , )为中⼼对 2 称，即满⾜ 1 1 F( − x + µ) − = − F(x + µ) + 2 2 曲线在中⼼附近增⻓较快，在两端增⻓速度较慢。形状参数γ的值越⼩，曲线在中⼼附近增⻓得 越快。 ⼆、逻辑斯谛回归模型 线性回归的应⽤场合⼤多是回归分析，⼀般不⽤在分类问题上。原因可以概括为以下两个： 1）回归模型是连续型模型，即预测出的值都是连续值（实数值），⾮离散值； 2）预测结果受样本噪声的影响⽐较⼤。 2.1 LR模型表达式 LR模型表达式为参数化的逻辑斯谛函数（默认参数µ = 0, γ = 1）,即 1 h (x) = θ T − θ x 1 + e 其中h (x)作为事件结果y = 1的概率取值。这⾥,x ∈ R n + 1, y ∈ {1, 0}, θ ∈ R n + 1是权值向量。其中 θ 权值向量w 中包含偏置项，即w = (w , w , · · · , w ) ，x = (1, x , x , · · · , x ) 0 1 n 1 2 n 2.2 理解LR模型 2.2.1 对数⼏率 ⼀个事件发⽣的⼏率（odds）是指该事件发⽣的概率与该事件不发⽣的概率的⽐值。如果事件发 p ⽣的概率是p ，那么该事件的⼏率为 ，该事件的对数⼏率（log odds）或logit函数是： 1−p p