(机器学习课件)chap4-Parametric Methods.ppt

风险不同/最小风险 参见第3章3.3节 沿用上一节的记号，E(r|x)实际为f(x)，是x处的真实值 g(x)是一个随机变量，会随样本集的改变而发生改变 考虑随机变量g(x)离真实值E(r|x)的距离，参照式（4.11） 小结 参数化密度估计 参数估计 密度估计 参数化判别 参数化回归 模型选择 以一个常数估计一个随机变量，以下方式度量该常数离随机变量的距离 （4.17） Lecture Notes for E Alpayd?n 2010 Introduction to Machine Learning 2e ? The MIT Press (V1.0) Bayes’ Estimator: Example Pattern recognition p41 xt ~ N (θ, σo2) and θ ~ N ( μ, σ2) θML = m θMAP = θBayes’ = * 在正态密度情况下，众数是期望值。这样，如果p(θ|χ)是正态分布，则θMAP = θBayes’ 验证的过程（变量名称不同） 以上结果可以推广至多元高斯分布 Remarks 一些特殊情况下，贝叶斯参数估计就是最大后验估计 若p(θ)在p(θ|X)峰值附近足够宽，最大后验概率估计近似于极大似然估计 对于训练样本N较小的情况，三种估计结果是不同的 当样本足够大时，MLE和MAP更简单 Bayes方法需要使用更多的信息，只要信息可靠，虽然计算复杂，但能得出更好的结果 2/10/2010 Lecture Notes for E Alpayd?n 2010 Introduction to Machine Learning 2e ? The MIT Press (V1.0) 均匀分布 令 则概率函数 估计θ 例：均匀分布 令 则概率函数 考虑一个固定的?值，假设对于某一个i，有 ，则 因此令 则 所以 递减函数 Lecture Notes for E Alpayd?n 2010 Introduction to Machine Learning 2e ? The MIT Press (V1.0) 参数估计小结 Maximum a Posteriori (MAP): θMAP = argmaxθ p(θ|X) Maximum Likelihood (ML): θML = argmaxθ p(X|θ) Bayes’: θBayes’ = E[θ|X] = ∫ θ p(θ|X) dθ * 从哪些角度评估一个估计的好坏 无偏/有偏估计 一致估计 渐近无偏估计 Lecture Notes for E Alpayd?n 2010 Introduction to Machine Learning 2e ? The MIT Press (V1.0) 4.3 Bias and Variance * Unknown parameter q Estimator di = d (Xi) on sample Xi Bias: bq(d) = E [d] – q Variance: E [(d–E [d])2] Mean square error: 度量这种估计离真实值的距离 r (d,q) = E [(d–q)2]（4.11） = (E [d] – q)2 + E [(d–E [d])2] = Bias2 + Variance Bias：这种估计的平均值与真实值之间的差距 方差：这种估计相对于估计平均值之间的分散程度 q Lecture Notes for E Alpayd?n 2010 Introduction to Machine Learning 2e ? The MIT Press (V1.0) Parametric Classification * 假设类条件似然服从正态分布，类服从多项式分布；以下考虑参数的MLE；判别函数对应于最大后验概率分类 Lecture Notes for E Alpayd?n 2010 Introduction to Machine Learning 2e ? The MIT Press (V1.0) * Given the sample ML estimates are Discriminant becomes 若假设si=sj且先验相同，则判别函数变为（4.29），例题见图4.2 Lecture Notes for E Alpayd?n 2010 Introduction to Machine Learning 2e ? The MIT Press (V1.0) * Equal variances Single boundary at halfway betw