logo

您所在位置网站首页 > 海量文档  > 计算机 > 数据结构与算法

统计学Logistic回归概论.pdf 54页

本文档一共被下载: ,您可全文免费在线阅读后下载本文档。

  • 支付并下载
  • 收藏该文档
  • 百度一下本文档
  • 修改文档简介
全屏预览

下载提示

1.本站不保证该用户上传的文档完整性,不预览、不比对内容而直接下载产生的反悔问题本站不予受理。
2.该文档所得收入(下载+内容+预览三)归上传者、原创者。
3.登录后可充值,立即自动返金币,充值渠道很便利
特别说明: 下载前务必先预览,自己验证一下是不是你要下载的文档。
  • 上传作者 小茗(下载加QQ:506618349)(上传创作收益人)
  • 发布时间:2019-04-26
  • 需要金币6(10金币=人民币1元)
  • 浏览人气
  • 下载次数
  • 收藏次数
  • 文件大小:2.09 MB
下载过该文档的会员
统计学Logistic回归概论
你可能关注的文档:
目录 1. 逻辑斯蒂回归模型 2. 最大熵模型 3. 模型学习的最优化方法 一、逻辑斯蒂回归 逻辑斯蒂分布 二项逻辑斯蒂回归 似然函数 模型参数估计 多项logistic 回归 回归 面积 销售价钱 (m^2) (万元) 123 250 150 320 87 160 102 220 … … 回归 回归:广义线性模型 (generalized linear model ) 分类:根据因变量的不同 连续:多重线性回归 二项分布:logistic 回归 poisson分布:poisson 回归 负二项分布:负二项回归 逻辑斯蒂分布 Logistic distribution 设X是连续随机变量,X服从Logistic distribution , 分布函数: 密度函数:  μ为位置参数,γ大于0为形状参数,( μ,1/2) 中心对称 Sigmoid : 双曲正切函数 (tanh ) Sigmoid function: def sigmoid(inX): return 1.0/(1+exp(-inX)) 二项逻辑斯蒂回归 Binomial logistic regression model 由条件概率P(Y |X)表示的分类模型 形式化为logistic distribution X取实数,Y取值1,0 二项逻辑斯蒂回归 事件的几率odds :事件发生与事件不发生的概率之比 为 称为事件的发生比(the odds of experiencing an event), 对数几率: 对逻辑斯蒂回归: 似然函数 logistic分类器是由一组权值系数组成的,最关键的问题就 是如何获取这组权值,通过极大似然函数估计获得,并且 Y~f (x;w) 似然函数是统计模型中参数的函数。给定输出x时,关于参 数θ的似然函数L(θ |x) (在数值上)等于给定参数θ后变量X 的概率:L(θ |x)=P(X=x |θ) 似然函数的重要性不是它的取值,而是当参数变化时概率 密度函数到底是变大还是变小。 极大似然函数:似然函数取得最大值表示相应的参数能够 使得统计模型最为合理 似然函数 那么对于上述m个观测事件,设 其联合概率密度函数,即似然函数为:  目标:求出使这一似然函数的值最大的参数估,w ,w ,…,w , 1 2 n 使得L(w)取得 最大值。 对L(w)取对数: 模型参数估计 对数似然函数 对L(w)求极大值,得到w 的估计值。 通常采用梯度下降法及拟牛顿法,学到的模型: 多项logistic回归 设Y 的取值集合为 多项logistic 回归模型 二、最大熵模型 最大熵原理 最大熵模型的定义 最大熵模型的学习 极大似然估计 最大熵原理 最大熵模型(Maximum Entropy Model) 由最大熵原理推 导实现。 最大熵原理: 学习概率模型时,在所有可能的概率模型(分布) 中,熵 最大的模型是最好的模型,表述为在满足约束条件的模 型集合中选取熵最大的模型。 假设离散随机变量X 的概率分布是P(X), 熵: 且: |X |是X 的取值个数,X均匀分布时右边等号成立。 例子 : 假设随机变量X有5

发表评论

请自觉遵守互联网相关的政策法规,严禁发布色情、暴力、反动的言论。
用户名: 验证码: 点击我更换图片

©2010-2013 max.book118.com在线文档投稿赚钱网. All Rights Reserved 蜀ICP备08101938号 经营许可证:川B2-20180569