机器学习方法的比较.pptVIP

* * * * * * * * * * * * * * * * * 机器学习方法的比较 --李彦鹏 --Logistic回归， CRF与SVM 内容提要 正则化方法 Logistic回归 CRF 工具包的使用 练习 “两只刺猬”的故事 两只困倦的刺猬，由于寒冷而拥 在一起。可因为各自身上都长着刺， 于是它们离开了一段距离，但又冷得 受不了，于是凑到一起。几经折腾， 两只刺猬终于找到一个合适的距离：既能互相获得对方的温暖而又不致于被扎。 起初：dist* = argmin (寒冷) 最终：dist* = argmin (C*寒冷 + 被刺到) 最好的不是最极端的，而是最和谐的 机器学习的发展也经历了类似的过程 机器学习 经验数据 一般规律 预测新数据 经验风险最小化：f*= argmin (经验风险) 过拟合（overfitting） 正则化： f*= argmin (C*经验风险+ 1/泛化能力) 不适定(ill-posed)问题 算子方程的解不存在，不唯一，或不稳定 下列方程 f是未知数： 通过求极值的方法解方程，最小化泛函 然而一些很一般的情况下，解是不适定的，当左端变化很小， f会变化很大，尤其是当然们试图反演因果关系的时候，如：密度估计 正则化方法 60年代中期人们发现在R后面加入一个正则化因子可以解决不适定的问题 正则化方法在反问题的求解中扮演了重