贝叶斯方法在聚类中的应用.pdfVIP

1 算法介绍 1.1 贝叶斯方法的基本观点 托马斯·贝叶斯 (ThomasBayes)是英国数学家，他对贝叶斯方法奠基性的工 作是他的论文“关于几率性问题求解的评论” 。由于当时贝叶斯方法在理论和应 用中还存在很多不完善的地方， 因此在很长一段时间并未被普遍接受。 后来随着 统计决策理论、 信息论和经验贝叶斯方法等理论和方法的创立和应用， 贝叶斯方 法很快显示出它的优点， 成为十分活跃的一个方向。 随着人工智能的发展尤其是 机器学习、数据挖掘的兴起， 贝叶斯理论的发展和应用也获得了更为广阔的空间。 近年来， 贝叶斯学习理论方面的文章更是层出不穷， 内容涉及到人工智能的大部 分领域， 如因果推理、 不确定性知识表达、 模式识别和聚类分析等， 同时出现了 专门研究贝叶斯理论的组织 ISBA(IntemationalSoeietyofBayesianAnalysis)。 贝叶斯方法的特点是使用概率去表示所有形式的不确定性， 学习或其他形式 的推理都用概率规则来实现。 贝叶斯理论在数据挖掘中的应用主要包括贝叶斯方 法用于分类及回归分析、 因果推理和不确定知识表达以及聚类模式发现等。 贝叶 斯方法正在以其独特的不确定性知识表达形式、 丰富的概率表达能力、 综合先验 知识的增量学习特性等成为当前数据挖掘众多方法中最为引人注目的焦点之一。 贝叶斯统计是贝叶斯理论和方法的应用之一， 其基本思想是： 假定对所研究 的对象在抽样前已有一定的认识， 常用先验分布来描述这种认识， 然后基于抽取 的样本再对先验认识作修正， 得到后验分布， 而各种统计推断都基于后验分布进 行。经典统计学的出发点是根据样本， 在一定的统计模型下做出统计推断。 在取 得样本观测值 X 之前，往往对参数统计模型中的参数 θ有某些先验知识，关于 θ的先验知识的数学描述就是先验分布。贝叶斯统计的主要特点是使用先验分 布，而在得到样本观测值 X ( x 1 , x 2 ,..., x n ) T 后，由 X 与先验分布提供的信息， 经过计算和处理， 组成较完整的后验信息。 这一后验分布是贝叶斯统计推断的基 础。 1.2 贝叶斯统计模型 1.2.1 概率论中的贝叶斯公式 设事件 A 1 ，A 2 ，, ， A k 构成互不相容的完备事件组，则 Bayes公式是 (1) 在上式中，先验信息以 { P(Aj ), j=1,2, …,k} 这一概率分布的形式给出，即先验 分布。由于事件 B 的发生，可以对 A 1 ，A2 ，, ， A k 发生的概率提供新的信息。 根据这些信息以及先验分布，可得出后验分布 { P(Ai |B), i=1,2,..,k }. 可以看出， Bayes公式反映了从先验分布向后验分布的转化。 1.2.2 数据挖掘中常用的贝叶斯公式 将(1)式中的随机变量的形式改写，引入随机变量 θ，它的取值是 θ , θ ,…, 1 2 发生时， θ取值 θ，