贝叶斯概率智能科学与人工智能.pptVIP

*史忠植高级人工智能*先验分布的选取－多项Dirichlet分布1)m(m)m/m(1mstateitheofvariancemmstateitheofmean...xxx)(m)...(m)(m)m()m,...,m,m|(xpN1iiN1iiN1iiiithN1iiith1m1-m1mN21N1iiN21DirichletN21+-==GGGG=?????====--=*史忠植高级人工智能*不完全数据的密度估计期望最大化方法（ExpectationMaximizationEM）Gibbs抽样（GibbsSamplingGS）BoundandCollapse(BC)*史忠植高级人工智能*期望最大化方法分为以下几个步骤：（1）含有不完全数据的样本的缺项用该项的最大似然估计代替；（2）把第一步中的缺项值作为先验信息，计算每一缺项的最大后验概率，并根据最大后验概率计算它的理想值。（3）用理想值替换（1）中的缺项。（4）重复（1—3），直到两次相继估计的差在某一固定阈值内。*史忠植高级人工智能*Gibbs抽样Gibbs抽样（GibbsSamplingGS） GS是最为流行的马尔科夫、蒙特卡罗方法之一。GS把含有不完全数据样本的每一缺项当作待估参数，通过对未知参数后验分布的一系列随机抽样过程，计算参数的后验均值的经验估计。*史忠植高级人工智能*贝叶斯网络的结构学习基于搜索评分的方法:初始化贝叶斯网络为孤立节点使用启发式方法为网络加边使用评分函数评测新的结构是否为更好贝叶斯评分（BayesianScoreMetric）基于墒的评分最小描述长度MDL(MinimalDescriptionLength)重复这个过程，直到找不到更好的结构基于依赖分析的方法:通过使用条件独立性检验conditionalindependence(CI)找到网络的依赖结构*史忠植高级人工智能*基于MDL的贝叶斯网结构学习计算每一点对之间的互信息： 建立完全的无向图，图中的顶点是变量，边是变量之间的互信息建立最大权张成树根据一定的节点序关系，设置边的方向*史忠植高级人工智能*基于条件独立性的贝叶斯网络学习假定：节点序已知第一阶段(Drafting)计算每对节点间的互信息，建立完整的无向图.第二阶段(Thickening)如果接点对不可能d-可分的话，把这一点对加入到边集中。第三阶段(Thinning)检查边集中的每个点对，如果两个节点是d-可分的，那么移走这条边。*史忠植高级人工智能*基于条件独立性检验(CI)的贝叶斯网络结构学习1）初始化图结构B=N,A,?,A=?,R=?,S=?;2）对每一节点对，计算它们的互信息，并将互信息大于某一域值的节点对按互信息值的大小顺序加入到S中；3）从S中取出第一个点对，并从S中删除这个元素，把该点对加入到边集A中；4）从S中剩余的点对中，取出第一个点对，如果这两各界点之间不存在开放路径，再把该点对加入A到中，否则加入到R中；5）重复4),直到S为空；6）从R中取出第一个点对；7）找出该点对的某一块集，在该子集上做独立性检验，如果该点对的两个节点，仍然相互依赖，则加入到A中；8）重复6),直到R为空；9）对A中的每一条边，如果除这条边外，仍旧含有开放路径，则从A中临时移出，并在相应的块集上作独立性测试，如果仍然相关，则将其返回到A中，否则从A中删除这条边。*史忠植高级人工智能*Adaboost算法针对以上两个问题，AdaBoost算法进行了调整：使用加权后选取的训练数据代替随机选取的训练样本，这样将训练的焦点集中在比较难分的训练数据样本上；将弱分类器联合起来，使用加权的投票机制代替平均投票机制。让分类效果好的弱分类器具有较大的权重，而分类效果差的分类器具有较小的权重。*史忠植高级人工智能*Adaboost算法与Boosting算法不同的是，AdaBoost算法不需要预先知道弱学习算法学习正确率的下限即弱分类器的误差，并且最后得到的强分类器的分类精度依赖于所有弱分类器的分类精度，这样可以深入挖掘弱分类器算