王珏-结构+平均-读Daphne_Koller的“概率图模型”.pptVIP

BN的Bayes预测学习 任务：计算后验概率分布P(?|D)，仅需计算似然函数P(D|?)和先验概率分布P(?)。Bayes预测学习就是计算这两个函数 给定BN，参数考虑为随机变量，表述为分布函数。 似然函数：对样本逐一计算。根据当前参数，修正参数(预测)。 先验分布函数：希望先验与后验表示形式相同，Dirichlet分布。 对BN的预测学习，关键是需要将整体分布分解为局部分布。 其中 似然计算 似然函数P(D|?)的计算采用预测新样本的分布，给定BN，从DM获得参数?的分布，对新的观察x[M+1]，可以使用链式规则： 其中DM是数据集合D中，前M个样本构成的集合。DM(?M)对x[M+1]独立。 这暗示，从样本集学习参数，可以一个一个样本逐步进行 预测x[M+1]变为：根据后验，对所有参数平均(期望)， 先验分布P(?)的选择 Dirichlet分布： 满足先验概率与后验概率形式一致的要求。?k：样本k值出现频率。 优点一：形式一致且紧凑。修改参数容易。 后验：P(x[M+1]=xk | D) = EP(?|D)[?k]，对Dirichlet分布, E(?k) = ?k / ?j?j 优点二：新参数是基于对已有参数的平均，这避免某个参数过学习的误差，带到新参数的估计。 学习MN 对学习而言，MN与BN的区别是：M