逻辑回归与梯度下降教学课件.ppt

逻辑回归与梯度下降 线性回归 线性拟合一条直线:用于预测y值 使得所有样本到该直线的距离方差和最小：最小二乘法 如果用于样本分类该怎么利用回归呢？？ 一、什么是逻辑回归 做一个变换 原先的y不再 是目标值，让p成为目标值 (p/(1-p)) 是流行病学常用的描述疾病发生强度的统计指标称为优势（odds） y=ln(p/(1-p)) = p=1/(1-e-y)= P取值范围： 0~1之间,是一个概率分布函数 这个式子可以求得某个样本属于正分类的概率：0-1, 如果p=0说明，该样本属于负分类，如果p=1该样本属于正分类 一、什么是逻辑回归 p=1/(1-e-y)这个函数就是著名的sigmoid函数。 式子写的舒服点 函数特点：越阶快，更容易区分分类。 一、逻辑回归-正式描述 我们把sigmoid函数写成g(x)=1/(1-e-x) 则我们的目标函数（预测函数）： hθ(x)=g(θTx)= 需要借助极大似然估计方法求解θ 求出所有的θi 插曲：极大似然--参数估计 最大似然法就是选取使总体参数落在样本观察值领域里的概率达到最大时的值作为参数的估计值。 极大似然原理的直观想法是，一个随机试验如有若干个可能的结果A，B，C，... ，若在一次试验中，结果A出现了，那么可以