统计学Logistic回归概论.pdfVIP

目录 1. 逻辑斯蒂回归模型 2. 最大熵模型 3. 模型学习的最优化方法 一、逻辑斯蒂回归 逻辑斯蒂分布 二项逻辑斯蒂回归 似然函数 模型参数估计 多项logistic 回归 回归 面积 销售价钱 (m^2) （万元） 123 250 150 320 87 160 102 220 … … 回归 回归：广义线性模型 （generalized linear model ） 分类：根据因变量的不同 连续：多重线性回归 二项分布：logistic 回归 poisson分布：poisson 回归 负二项分布：负二项回归 逻辑斯蒂分布 Logistic distribution 设X是连续随机变量，X服从Logistic distribution ， 分布函数： 密度函数：  μ为位置参数，γ大于0为形状参数，( μ,1/2) 中心对称 Sigmoid ： 双曲正切函数 （tanh ） Sigmoid function: def sigmoid(inX): return 1.0/(1+exp(-inX)) 二项逻辑斯蒂回归 Binomial logistic regression model 由条件概率P(Y |X)表示的分类模型 形式化为logistic distribution X取实数，Y取值1,0 二项逻辑斯蒂回归 事件的几率odds ：事件发生与事件不发生的概率之比 为 称为事件的发生比(the odds of experiencing an event), 对数几率： 对逻辑斯蒂回归： 似然函数 logistic分类器是由一组权值系数组成的，最关键的问题就 是如何获取这组权值，通过极大似然函数估计获得，并且 Y~f (x;w) 似然函数是统计模型中参数的函数。给定输出x时，关于参 数θ的似然函数L(θ |x) （在数值上）等于给定参数θ后变量X 的概率：L(θ |x)=P(X=x |θ) 似然函数的重要性不是它的取值，而是当参数变化时概率 密度函数到底是变大还是变小。 极大似然函数：似然函数取得最大值表示相应的参数能够 使得统计模型最为合理 似然函数 那么对于上述m个观测事件，设 其联合概率密度函数，即似然函数为：  目标：求出使这一似然函数的值最大的参数估，w ,w ,…,w ， 1 2 n 使得L(w)取得 最大值。 对L(w)取对数： 模型参数估计 对数似然函数 对L(w)求极大值，得到w 的估计值。 通常采用梯度下降法及拟牛顿法，学到的模型： 多项logistic回归 设Y 的取值集合为 多项logistic 回归模型 二、最大熵模型 最大熵原理 最大熵模型的定义 最大熵模型的学习 极大似然估计 最大熵原理 最大熵模型(Maximum Entropy Model) 由最大熵原理推 导实现。 最大熵原理： 学习概率模型时，在所有可能的概率模型(分布) 中，熵 最大的模型是最好的模型，表述为在满足约束条件的模 型集合中选取熵最大的模型。 假设离散随机变量X 的概率分布是P(X)， 熵： 且： |X |是X 的取值个数，X均匀分布时右边等号成立。 例子 ： 假设随机变量X有5