逻辑回归理论及实现实例.pptx

逻辑回归理论及实现实例;限于个人才疏学浅，理解有限，如有不正确的地方还请指正，谢谢;内容;线性回归与分类问题;实际问题

我们想对两种鸢尾花进行分类，现在我们可以观察到鸢尾花的两个特征：花瓣个数和直径大小。那么我们该如何构建一个自动分类器，让算法可以根据这两个特征识别出当前的鸢尾花属于哪个类别呢？不妨先把已经获得的数据画出来看一下，假设如下如所示

;线性回归与分类问题;线性回归与分类问题;损失函数：

假设我们依旧按照线性回归的方式，代入式中得：

这样的话，函数会比较复杂，如右图，属于非凸函数

存在许多局部极小值，并且不利于求解全局最优解，

因此，直接采用线性回归的方法，可能在某些时候具

备效果，但在理论上并不是合适的做法，也因此引出

我们的主题，逻辑回归;我们回头看这个公式：

由上式可得：

如果我们把视为样本x为正例的可能性，那么即为负例可能性，两者的比值的对数，称为对数几率，这也是为什么逻辑回归也称为对数几率回归。同样，反过来，我们通过对样本为正反例可能性的伯努利分布推导（和指数族定义），也能得到上式的结果，因此，选择sigmoid的原因在于他符合描述样本x为正反例的可能性，而逻辑回归则是对该可能性建模，求解参数极大似然估计的过程

;损失函数与伯努利分布;损失函数与伯努利分布;损失函数与伯努利分布;损失函数与伯努利分布;