训练贝叶斯信念网络.docVIP

训练贝叶斯信念网络 贝叶斯信念网络如何学习？在学习或训练信念网络时，许多情况都是可能的。网络结构可能预先给定，或由数据导出。网络变量可能是可见的，或隐藏在所有或某些训练样本中。隐藏数据的情况也称为空缺值或不完全数据。 如果网络结构已知并且变量是可见的，训练网络是直接了当的。该过程由计算CPT项组成，与朴素贝叶斯分类涉及的计算概率类似。 当网络结构给定，而某些变量是隐藏的时，则可使用梯度下降方法训练信念网络。目标是学习CPT项的值。设S是s个训练样本X1,X2,…Xs的集合，wijk是具有是双亲Ui=uik的变量Y=yij的CPT项。例如，如果wijk是图7.6左上角的CPT项，而Yi是LangCancer；yij是其值”yes”； Ui列出Yi的双亲节点{FamilyHistory, Smoker}；而uik列出双亲节点的值{“yes”, “yes”}。wijk可以看作权，类似于神经网络中隐藏单元的权。权的集合总称为w。这些权被初始化为随机概率值。梯度下降策略采用贪心爬山法。在每次迭代中，修改这些权，并最终收敛到一个局部最优解。 基于w的每个可能设置都等可能地假定，该方法搜索能最好地对数据建模的wijk值。目标是最大化。这通过按梯度来做，使得问题更简单。给定网络结构和wijk的初值，该算法按以下步骤处理： （1）计算梯度：对每个i, j, k，计算