概率分布、MLE与MAP.ppt

吴金龙 概率分布、MLE MAP 掷硬币 给定一个不均匀的硬币，如何近似得到花朝上的概率？ 暴力强掷，然后计算花朝上的比例，以此作为近似值 WHY ? 掷硬币 记花朝上的概率为μ （0 ≤ μ ≤ 1） 记随机变量x为掷一次此硬币的结果： x = 1：花朝上 x = 0：数字朝上 则有 Pr(x = 1 | μ) = μ Pr(x = 0 | μ) = 1 – μ Bernoulli分布 （x=1 或者 x=0） 掷硬币 掷了N次： 假设每次掷硬币相互独立，则观察到上面结果的概率为 掷硬币——MLE 对上式取对数 μ的Maximum Likelihood Estimation (MLE) 上式对μ求导，并设导数为零： 掷硬币——bad MLE MLE 有时不给力！ 如果你掷了5次硬币（N=5）， 5次都是花朝上，此时μ=1！ USE Magic Bayes！ 为μ引入先验分布，何种先验？ Pr(μ | x) ∝ Pr(x |μ) Pr(μ) 掷硬币——MAP μ的共轭先验分布为 Beta分布 则μ的后验分布为 （其中 a, b ≥ 0，l = N – m） μ的maximum a posteriori (MAP)估计 上式对μ求导，并设导数为零即可 = ？ 掷硬币——Binomial分布 已知μ，重复掷硬币N次， 其中m次花朝上的概率？ 把N次掷硬币看成一个整体， m次花朝上的概率： Binomial分布 N=1时，Binomial分布退化为Bernoulli分布 掷硬币 ? 掷骰子 如何近似获得各个面朝上的概率？ Still 暴力强掷！ 掷骰子——MLE MAP MLE： MAP： 共轭先验分布：Dirichlet分布 …… 掷骰子——Multinomial分布 已知每个面朝上的概率值， 则掷骰子N次，其中第k面 次朝上的总概率值为？ Multinomial分布 Gaussian(Normal) 分布 一维情形： 高维情形： Gaussian分布的 MLE 数据集 对应的对数似然值为 对均值和方差求导数，设导数值为0，得： Gaussian分布的 MAP 给定方差，均值的共轭先验分布为Gaussian分布 给定均值，1/方差 的共轭先验分布为Wishart/Gamma分布 方差和均值都未知，（均值， 1/方差 ）的联合共轭先验分布为 Gaussian-Wishart/Gamma分布 Gaussian分布的优势 具有极好的分析性质 如果(x, y) 满足Gaussian分布，则 x|y 也满足Gaussian分布 如果(x, y) 是Gaussian分布，则 x 也满足Gaussian分布 …… 在具有相同均值与方差的所有（实值）分布中，Gaussian分布具有最大熵 如果给定取值只在有限区间时，什么分布具有最大熵？ 答案见 Wikipedia 一定条件下，多个随机变量的和近似满足Gaussian分布：中心极限定理 中心极限定理 Gaussian分布的劣势 分布的参数数量随着维数D二次方增长 限制方差矩阵为特殊形式，如何限制？ 对角阵(D个参数)，正比于单元阵（1个） 低秩矩阵（kD 个） 单峰（unimodal）：无法对多峰分布进行很好的近似 混合Gaussian分布，…… 对outliers不够robust 使用 heavy-tailed 的分布（如 Student’s t-分布） 周期性分布 —— von Mises 分布 其他分布 Power law 分布 Poisson 分布 Exponential 分布 Chi-square 分布 Geometric 分布 Uniform 分布 …… 详见 Wikipedia The End | _ | | _ | | _ | | _ | | _ | | _ | | _ | | _ | | _ | __ __ __ __ __ __ __ __ __ __ __ __ __ __ __ A * * * *