模式识别和机器学习.pptxVIP

2.3.5 Sequential estimation ;;;;;2.3.6 Bayesian inference for the Gaussian ;; 对上面两个式子进行分析 其中， 当N=0的时候， 当N= ， 其中 现在考虑一个D维的高斯变量X，且协方差已知，均值未知。现在有N个观测值，利用前一节讲到的序列估计的方法求在N个观测值的基础上估计均值。 公式如下： ;b：均值已知，方差未知 现在假设随机变量x的方差未知，均值已知，并且为了后面的计算及讨论方便令 其中 为精度。 利用似然函数的定义可得 的似然函数如下： 与之相对应的先验分布为gamma分布为： gamma分布的均值和方差如下： ;现在考虑一个先验分布为 ，将此分布与似然函数2.145式相乘，得到后验分布如下： 将上式表达成参数为 的gamma分布如下：;c.方差和均值皆未知 为了找到这种情况下的先验分布，先对两个参数的共同的似然函数求出并变形： 所以我们希望找出一个与似然函数类似的有关连个参数的先验分布 ，表示如下：;2.153式子可以写成贝叶斯的形式， 通过观察一个服从高斯分布，一个服从gamma分布。所以将先验分布表示如下： 其中参数 上式的分布为标准伽马分布或者高斯伽马分布。2.154和2.152结合可以得到后验概率 现在考虑D维随机变量x的多元高斯分布其分布为 ，那么均值 的先验分布也为高斯分布。 假定均值已知，协方差矩阵未知，那么协方差矩阵的先验分布为维希特分布，形式如下： 其中 为自由度，B为常量由下式定义： ;当精确度和均值都不知道的时候，那么关于两者的先验分布为 上式表示为标准维希特分布或者高斯维希特分布 ;2.3.7 Students t-distribution; 参数 是t分布的精度， 是自由度 t分布的特征：鲁棒性 从式子2.158看出，t分布是无数多个均值相同方差不同的高斯分布的积分，也是混合高斯分布的一种，所以t分布比高斯分布有更长的间隔，对于存在异常点的数据来说，没有高斯分布敏感???这就是t分布的鲁棒性。如下图;多元t分布分析 将2.158作如下的参数替换 得到： 对于多元高斯分布有 ，用归纳法可得与之相对应的多元t分布为 积分可得： 其中：;2.3.8 Periodic variables;;;;;;