学习贝叶斯分析.docx

贝叶斯分析课程报统计学袁艳2014-6-15学习贝叶斯分析 最开始接触贝叶斯是在大学时学习概率论与数理统计。如果说排列组合问题是游戏的第一级，那么贝叶斯公式的加入，代表着游戏正式进入第二级。贝叶斯公式的应用，最流行的例子莫过于癌症检测实验。对于某癌症检测实验而言，癌症病人实验结果为阳性的概率为95%，非癌症病人实验结果为阳性的概率为5%。现在采用该检测方法在某一社区进行癌症普查，假设该社区癌症病发率为0.5%的前提下，若现在有一个人，他的检测结果成阳性，那么他真正得了癌症的概率是多少？这是日常生活中常见的问题。根据贝叶斯公式可知，此人真正得癌症的概率仅为8.7%。因此即使检测结果为阳性，真正得癌症的概率依然很小。得出这样的结果，并非该检测方法不科学，而是因为癌症发生的概率太小。就是这个看似简单的贝叶斯公式，逐渐发展成关于统计推断的系统的贝叶斯方法。先验信息，是贝叶斯统计区别与经典统计的一个重要部分，确定先验分布是计算后验密度的前提条件。书中给出了许多方法，包括通过主观概率、先验信息、边缘分布等方式确定先验分布，另外还有无信息先验。无信息先验，保证了贝叶斯理论的完备性，使得在没有或者只有极少的先验信息时，也可以使用贝叶斯方法。但是无信息先验并不是指对于参数θ真正意义上的一无所知，而是指除了知道θ的取值范围和在总体分布中的地位之外的一无所知。通常假设θ在取值范围内服从均匀分布。当θ为位置参数时，其无信息先验取为常数或1，假设先验密度为1时，对均值为θ的正态总体的θ进行后验期望估计，结果也为样本均值，与经典统计的结果完全一致。当б为刻度参数时，其无信息先验取为1/б。对于非位置非刻度参数，书中给出了Jeffreys方法，获取无信息先验密度。得到先验信息后，即可运用计算后验密度的公式来获取后验密度。这个公式贯穿于整个贝叶斯分析，运用于每一个可以用贝叶斯方法解决的问题当中。从后验分布出发，接下来便是贝叶斯统计推断。已知了后验密度时，贝叶斯点估计包括后验众数估计，后验中位数估计和后验期望估计。在实际应用中，常选用后验期望估计。贝叶斯估计是不管无偏性的，这个原因是经典统计中的点估计的无偏性的计算囊括了样本空间中所有的样本，即使是那些在实际样本空间里从未出现的，而对于多次出现的样本，也采用了平均计算。在贝叶斯估计中，对于估计的误差，用后验均方误差PMSE来表示，后验期望估计的PMSE最小。基于后验分布的区间估计和假设检验，在方法上比经典统计要简单实用。另一项更常用的应用是预测，贝叶斯预测的情形可概括为：已知后验分布π(θ|x),已知总体Z的概率密度函数g(z|θ),对Z的未来值Z0做出预测。贝叶斯预测的思想是：在已知条件下，g(z|θ)π(θ|x)即为（Z,θ）的联合概率密度，把它对θ积分，即得到给定x时，随机变量Z的条件边缘概率密度，即我们所需要的后验预测密度。比如针对一个生活中普遍存在的问题：已知的是，N次伯努利实验，成功了n次。如何对接下来的k次相互独立的该实验进行预测呢？这是一个应用很广的问题。比如抛硬币，赌博，射击等等。将成功次数的变量用X表示，可知X的概率密度f（x|θ），取θ的先验分布为共轭先验，服从贝塔分布，计算得后验密度为π(θ|x)，而新的k次实验仍未伯努利实验，故其概率密度为f（z|θ），形式与X的概率密度一致。将（Z, θ）联合概率密度f(z|θ)π(θ|x)对θ积分，即得到Z在给定X条件下的边缘概率密度。根据一上步骤，可得到在已知N次伯努利实验，成功了n次的前提下，后K次成功0至K次的每个概率。比较这K+1个概率，概率最大的最可能发生。虽然概率大不代表一定会发生，但是这也为我们日常生活中的决策提供参考，做出在当前时间，当前已知条件下，相对最明智的决定。贝叶斯在统计分析中的地位十分重要，可应用于智能交通控制，模式识别，计算机科学技术等众多领域。对于该学科教复杂的计算方法，目前还不甚理解，在日后的学习中，尽可能的通过多读些相关书籍和论文，加以学习，力求掌握。朴素贝叶斯分类器及其改进算法的实现朴素贝叶斯方法基于条件独立假设，即假设一个属性对给定类的影响独立于其他属性，当假设成立时，与其他分类算法相比，朴素贝叶斯分类方法理论上具有最小的误分类率。本文通过Matlab实现了朴素贝叶斯分类器。并对其进行改进，实现了一种加权的朴素贝叶斯分类器，提高了它的准确率。朴素Bayes分类器的基本思想是依据类的概率、概密，按照某种准则使分类结果从统计上讲是最佳的。换言之，根据类的概率、概密将模式空间划分成若干个子空间，在此基础上形成模式分类的判决规则。准则函数不同，所导出的判决规则就不同，分类结果也不同。使用哪种准则或方法应根据具体问题来确定。以下阐述朴素贝叶斯分类器的具体算法。（1）每个数据样本用一个n维特征向量表示