贝叶斯学习教学课件.ppt

*页 *页 *页 *页 *页 *页 *页 *页 *页 *页 *页 *页 *页 *页 *页 *页 *页 *页 *页 *页 *页 *页 *页 *页 *页 *页 *页 *页 *页 *页 *页 *页 *页 *页 *页 *页 *页 *页 *页 *页 *页 *页 *页 *页 *页 *页 *页 *页 *页 *页 *页 *页 *页 *页 *页 *页 *页 *页 *页 *页 *页 *页 *页 *页 *页 *页 *页 *页 *页 *页 *页 *页 *页 *页 *页 *页 *页 *页 *页 *页 *页 *页 *页 *页 *页 * 贝叶斯网的表示 贝叶斯网表示联合概率分布的方法 指定一组条件独立性假定（有向无环图） 一组局部条件概率集合 贝叶斯网络 节点：表示联合空间中的一个变量 变量需要两种类型的信息 网络弧表示断言“此变量在给定其直接前驱时条件独立于其非后继” 条件概率表：描述了该变量在给定其直接前驱时的概率分布 图 * 贝叶斯信念网的表示（2） 对网络变量的元组Y1...Yn赋以所希望的值(y1...yn)的联合概率计算公式 所有变量的局部条件概率表以及由网络所描述的一组条件独立假定，描述了该网络的整个联合概率分布 图 * 贝叶斯信念网的推理 在给定其他变量的观察值时，用贝叶斯网推理出某些目标变量的值 目标变量是随机变量 推理目标变量的概率分布：指定了在给予其他变量的观察值条件下，目标变量取每一个可能值的概率 贝叶斯网络推理概率分布 在知道某些变量的值或分布时计算网络中另一部分变量的概率分布 * 贝叶斯信念网的推理（2） 一个NP难题 任意贝叶斯网络概率的确切推理 推理方法 Monte Carlo方法 近似推理也可能是NP难题 近似的方法被证明是有效的 * 学习贝叶斯信念网 从训练数据中学到贝叶斯信念网的多种框架： 网络结构可以预先给出，或由训练数据中得到 所有的网络变量可以直接从每个训练样例中观察到，或某些变量不能观察到 如果网络结构已知且变量可以从训练样例中完全获得，那么得到条件概率表就比较简单 如果网络结构已知，但只有一部分变量值能在数据中观察到，学习问题就困难多了 Russtll（1995）提出了一个简单的梯度上升过程以学习条件概率表中的项，相当于对表项搜索极大似然假设 * 贝叶斯网的梯度上升训练 令wijk代表条件概率表的一个表项，即在给定父节点Ui取值uik时，网络变量Yi值为yij的概率Ph {Yi=yij| Ui=uik} 例：wijk为最右上方的表项 Yi为变量Campfire，且yij=True Ui是其父节点的元组Storm, BusTourGroup，且uik=False, False 图 * 贝叶斯网的梯度上升训练（2） 极大似然假设：lnP(D|h) 用Ph(D)来表示P(D|h) 假定在数据集D中的各样例d都是独立抽取的 * 公式推导 * 公式推导 * 贝叶斯网的梯度上升训练（2） lnP(D|h)的梯度由对每个wijk求导数得到 当训练样例中无法观察到这些变量时，这些概率可用标准的贝叶斯网从d中观察到的变量中推理得到 * 贝叶斯网的梯度上升训练（4） 更新权值 归一化处理 ?jwijk=1 0 ≤ Wijk≤1 局部最优解 梯度上升和EM算法 * 学习贝叶斯网的结构 如果贝叶斯网的结构未知，那么需要学习贝叶斯网的结构 Cooper Herskovits 提出了一个贝叶斯评分尺度，以便从不同网络中进行选择 提出了算法K2，启发式算法，用于在数据完全可观察时学习网络结构 基于约束的学习贝叶斯网络结构 从数据中推导出独立和相关的关系，然后用这些关系来构造贝叶斯网 * EM算法 实际的学习问题，只有一部分特征可被观察到 处理方法 决策树 EM算法 处理隐含变量的一种学习方法 可用于变量的值从来没有被直接观察到的情形，只要这些变量所遵循的概率分布的一般形式已知 用于贝叶斯网的训练 用于马尔可夫模型的训练 * 估计k个高斯分布的均值 考虑D是一个实例集合，k个不同正态分布的混合分布 每个实例使用一个两步骤的过程形成： 首先，随机选择k个正态分布中的一个 其次，随机变量xi按照此选择的分布生成 考虑一个简单情形： 单个正态分布的选择基于均匀的概率进行，且k个正态分布有相同的方差 * 估计k个高斯分布的均值 学习任务：输出一个假设h=?1...?k，描述k个分布中每个分布的均值，找到极大似然假设，即使得p(D|h)最大化的假设 * 估计k个高斯分布的均值（2） 给定从一个正态分布中抽取的数据实例x1,...,xm时，其分布均值的极大似然假设 图例 现在涉及k个不同正态分布 每个实例的完整描述是三元组xi,zi1,zi2，其中xi是第i个实例的观测值，zi1和zi2表示哪个正态分布被用来产生xi，隐藏变量 (6.2