LR与假设检验.pdf

Logistic Regression Hypothesis Testing 武玉兰(思思) yulan.wu@ 2011-10-12 Outline  Logistic Regression  Maximum likelihood estimation (MLE)  Logistic curve  Numerical Optimization  LR coefficients explanation  Statistical hypothesis testing  Significance testing  LR coefficient significance testing  LR coefficient confidence intervals  LR model evaluation  LR feature selection  LR problems MLE - Maximum likelihood estimation  Maximum likelihood estimation 最大似然估计  一种参数估计方法，被用来求一个样本集的相关概率密度函数 (pdf)的参数。  基本思想：  例如：我们有10个广告，展示了很多次了，其中有一个广告A个被 点击的次数最多。当我们要寻找一个概率函数来预测这10个广告 哪一个更容易被点击时，那我们所找的概率函数(参数)应该使A广 告点击概率最大。  使试验已得结果的发生概率最大化  求MLE的一般步骤：  条件：观测样本遵从iid (independent and identically distributed)  给出每个样本观测结果的概率函数  因为遵从iid条件，所以可以给出观测样本集的联合概率(即似然函数)函数  对似然函数取对数（即对数似然函数log likelihood）  求使得对数似然函数最大时的参数估计 Logistic curve (sigmoid curve) logistic curve 1 0.9 0.8 0.7 1 0.6 0.5 (x ) logistic curve g (x )