概率分布.pptVIP

概率分布 PRML第二章 参数分布 基本形式：P(x|θ) 参数估计任务：给定x1...xN，决定优化的θ* 思考题：以参数估计方法来建模数据，有哪些优点和缺点？ 二元变量 抛掷硬币：正（1）、反（0） p(x=1|μ)=μ 贝努利分布： Bern(x|μ)=μx(1-μ)1-x E(x)=μ Var(x)=μ(1-μ) 二元变量 假定有一个样本集D={x1...xN}，则似然函数： 最大似然解： 二元变量 D={1,1,1}，则μML=1，估计过程将预测未来的结果永远是1 思考题：如何克服过拟合？ 二元变量 N次抛掷：p(m次正|μ,N) 注：以m表示出现1的次数 二项分布 二元变量 Beta分布 μ∈(0,1)上的（先验）分布 (2.1) 这里 问题：如何证明(2.1)给出了一个合法的概率密度函数？ Beta分布 Beta分布 均值和方差 问题：如何计算上述均值和方差公式？(mp-example1) 贝叶斯贝努利 后验概率∝似然性*先验概率 这里 ，即出现0的次数 贝叶斯贝努利 问题：如何将 正确地归一化，以获得一个概率密度函数？ Beta分布 (2.2) 共轭先验：与后验分布形式相同的先验 beta分布是贝努利分布的共轭先验 贝叶斯贝努利 由(2.2)，若样本D中包括m个1和l个0，则相当于将a和b分别增加m和l 贝叶斯贝努利 先验概率的参数a=b=2 D={1}，则似然函数： 成为μ 后验概率的形式如下右图 贝叶斯贝努利 mp-example2 顺序方法：样本顺序到达，每到达一个样本，计算新的后验概率，并以计算的结果作为下一次计算的先验概率。 问题：保证上述方法可行的基本依据是什么？ 后验概率的性质 随着样本数增加： 对于μ的估计方法的总结 对于μ的后验估计、先验均值和ML估计 对于μ的后验估计的渐进行为（mp-example3） 利用后验概率做预测 计算x的预测分布： 由前面 的计算结果： 理论结果1 1 这里 注：D的生成依赖于θ 作业：证明理论结果1 理论结果2 2 左手项是θ的先验方差 右手第1项是θ的后验方差相对于样本的平均 右手第2项是θ的后验均值相对于样本的方差 解释： 1 后验方差小于先验方差 2 在统计意义上有效（对于特定的D未必成立） 多项变量 基本约定和结果 最大似然（ML）估计 给定数据集： 为保证 ，使用拉格朗日乘子 练习：自行推导求解上述结果 多项分布 定义和基本属性 多项分布 基本属性 作业：使用Maple验证上述基本属性 狄利克雷分布 定义 贝叶斯多项分布 后验概率密度函数的构造 问题：如何理解上式与贝叶斯贝努利分布之间的相似性？ 贝叶斯多项分布 贝叶斯多项分布 作业：参考贝努利分布的贝叶斯推断，给出多项分布的贝叶斯推断的具体方法，说明其统计解释和渐进性质。 高斯分布 定义： 高斯分布 问题：为何类似于高斯分布的数据分布形式在实际中经常出现？ 中心极限定理（CLT）：弱相关随机变量的累积效应趋近于高斯分布 多变量高斯分布的几何 多元高斯分布的几何 在新坐标系统y下： 这里 多元高斯分布的期望 由期望的定义： 注意到exp指数部分是关于z的偶函数，则 多元高斯分布的二阶矩 作业：验证上述结果 多元高斯分布 多元高斯分布作为数据模型的缺点： 1 参数较多 2 单模 思考题：如何改进高斯分布的不足？ 多元高斯分布的划分 假设变量x可划分为两部分xa和xb，则相应地有 多元高斯分布的划分 划分后的多元高斯分布的exp指数部分如下： 由标准的高斯分布的指数部分： 和划分后的高斯分布的指数部分，可求得条件高斯分布的均值和方差；类似地，可获得边际高斯分布的均值和方差！ 条件高斯分布和边际高斯分布 条件高斯分布和边际高斯分布 左图是二元高斯分布，右图是