机器学习方法的比较.pptVIP

* * * * * * * * * * * * * * * * * 机器学习方法的比较 --李彦鹏 --Logistic回归， CRF与SVM 内容提要 正则化方法 Logistic回归 CRF 工具包的使用 练习 “两只刺猬”的故事 两只困倦的刺猬，由于寒冷而拥 在一起。可因为各自身上都长着刺， 于是它们离开了一段距离，但又冷得 受不了，于是凑到一起。几经折腾， 两只刺猬终于找到一个合适的距离：既能互相获得对方的温暖而又不致于被扎。 起初：dist* = argmin (寒冷) 最终：dist* = argmin (C*寒冷 + 被刺到) 最好的不是最极端的，而是最和谐的 机器学习的发展也经历了类似的过程 机器学习 经验数据 一般规律 预测新数据 经验风险最小化：f*= argmin (经验风险) 过拟合（overfitting） 正则化： f*= argmin (C*经验风险+ 1/泛化能力) 不适定(ill-posed)问题 算子方程的解不存在，不唯一，或不稳定 下列方程 f是未知数： 通过求极值的方法解方程，最小化泛函 然而一些很一般的情况下，解是不适定的，当左端变化很小， f会变化很大，尤其是当然们试图反演因果关系的时候，如：密度估计 正则化方法 60年代中期人们发现在R后面加入一个正则化因子可以解决不适定的问题 正则化方法在反问题的求解中扮演了重要的角色，如函数估计，密度估计等问题。 目前最常用的机器学习算法都是基于此框架。如：SVM，regularized Logistic regression 贝叶斯估计 根据样本 x1, x2..xn,估计密度函数 P(x,α),其中α为未知参数 极大斯然估计： α* = argmax P(X|α) = argmin (-ln (p(x1,α)*p(x2, α)..p(xn ,α)) ) 贝叶斯估计：极大化后验概率估计- maximum a posteriori (MAP) estimate α* = argmax P(α|X) = argmax P(X|α)* P(α) =argmin (-ln (p(x1,α)*p(x2, α)..p(xn ,α)) – ln P(α)) 总结 极大斯然估计过于依赖经验，容易犯 “经验主义” 的错误。 贝叶斯估计利用先验知识P(α)来避免这种错误的发生。 贝叶斯方法与正则化方法得到十分类似的结果！ 不同学科的理论都反映了大自然的同一个规律。 Logistic Regression 回归：根据有限样本估计产生样本的函数 线性回归：假设待求函数为线性函数。 例：2维的情况，假设待求函数为 f（x1,x2）= w1*x1+w2* x2 需要估计w1，w2的值。 Logistic回归：假设待求概率函数为 sigmoid函数： P(x) = 1/(1+e -(w*x)) 估计：参数w 例： 2维的情况： P(x1,x2) = 1/(1+e -(w1*x1+w2* x2)) Logistic Regression 给定决策函数的形式: 设回归函数: 样本的概率分布： LR的训练 对于训练样本 最小化如下风险函数 正则化的LR L2 norm Logistic Regression： Bayesian Logistic Regression： SVM vs. LR SVM LR SVM vs. LR SVM与LR具有很相似的风险函数 实际应用中的效果不相上下 为什么SVM比LR更流行? 核化的SVM具有“稀疏性”（支撑向量）但核化的LR不具有,在这种情况下，SVM的效率往往高于LR SVM有很多方便的开源工具包，如：SVM-light，libsvm等。 SVM是新的算法，而LR是传统的统计学模型 序列标注问题 代词 系动词 冠词 名词 I am a student. 在词性标注问题中，样本之间是有关联的。 序列模型、图模型就是将这些关联嵌入到模型中，NLP中常用的模型有：HMM， CRF （Lafferty 2001） 在近年的NLP研究中，CRF已“取代”了HMM 条件随机域 (CRF) s: 状态序列 o: 观察值序列 st：当前状态 st-1:前一个状态 fk：第k个特征 Zo ：归一化因子 条件随机域 (