《6贝叶斯学习-机器学习》.pptVIP

学习贝叶斯信念网 从训练数据中学到贝叶斯信念网，有多种讨论的框架： 网络结构可以预先给出，或由训练数据中得到 所有的网络变量可以直接从每个训练样例中观察到，或某些变量不能观察到 如果网络结构已知且变量可以从训练样例中完全获得，那么得到条件概率表就比较简单 如果网络结构已知，但只有一部分变量值能在数据中观察到，学习问题就困难多了。这类似于在人工神经网络中学习隐藏单元的权值 Russtll（1995）提出了一个简单的梯度上升过程以学习条件概率表中的项，相当于对表项搜索极大似然假设 2003.12.18 机器学习-贝叶斯学习 作者：Mitchell 译者：曾华军等 讲者：陶晓鹏 * 贝叶斯网的梯度上升训练 令wijk代表条件概率表的一个表项，即在给定父节点Ui取值uik时，网络变量Yi值为yij的概率 例如图6-3，wijk为最右上方的表项，那么Yi为变量Campfire，Ui是其父节点的元组Storm, BusTourGroup，yij=True，且uik=False, False 2003.12.18 机器学习-贝叶斯学习 作者：Mitchell 译者：曾华军等 讲者：陶晓鹏 * 贝叶斯网的梯度上升训练（2） lnP(D|h)的梯度由对每个wijk求导数得到 例如，为计算图6-3中表左上方的表项的lnP(D|h)的导数，需要对D中每个训练样例d计算P(Campfire=True, Storm=False, BusTourGroup=False|d) 当训练样例中无法观察到这些变量时，这些概率可用标准的贝叶斯网从d中观察到的变量中推理得到 这些量能够很容易地从贝叶斯网推理过程中得到，几乎不需要附加的开销 2003.12.18 机器学习-贝叶斯学习 作者：Mitchell 译者：曾华军等 讲者：陶晓鹏 * 贝叶斯网的梯度上升训练（3） 式子6.25的推导 用Ph(D)来表示P(D|h) 假定在数据集D中的各样例d都是独立抽取的 2003.12.18 机器学习-贝叶斯学习 作者：Mitchell 译者：曾华军等 讲者：陶晓鹏 * 2003.12.18 机器学习-贝叶斯学习 作者：Mitchell 译者：曾华军等 讲者：陶晓鹏 * 贝叶斯网的梯度上升训练（4） 更新权值 归一化处理，保持在区间[0,1]之间，且?jwijk对所有i,k保持为1 这个算法只保证找到局部最优解，替代梯度上升的一个算法是EM算法 2003.12.18 机器学习-贝叶斯学习 作者：Mitchell 译者：曾华军等 讲者：陶晓鹏 * 学习贝叶斯网的结构 如果贝叶斯网的结构未知，那么需要学习贝叶斯网的结构 Cooper Herskovits提出了一个贝叶斯评分尺度，以便从不同网络中进行选择 Cooper Herskovits提出了算法K2，启发式算法，用于在数据完全可观察时学习网络结构 基于约束的学习贝叶斯网络结构：从数据中推导出独立和相关的关系，然后用这些关系来构造贝叶斯网 2003.12.18 机器学习-贝叶斯学习 作者：Mitchell 译者：曾华军等 讲者：陶晓鹏 * EM算法 在许多实际的学习问题框架中，相关实例特征中只有一部分可观察到 已有许多方法被提出来处理存在未观察到变量的问题 比如，如果某些变量有时能观察到，有时不能，那么可以用观察到该变量的实例去预测未观察到的实例中的变量的值 EM算法是存在隐含变量时广泛使用的一种学习方法，可用于变量的值从来没有被直接观察到的情形，只要这些变量所遵循的概率分布的一般形式已知 用于贝叶斯网的训练 用于马尔可夫模型的训练 2003.12.18 机器学习-贝叶斯学习 作者：Mitchell 译者：曾华军等 讲者：陶晓鹏 * 估计k个高斯分布的均值 考虑D是一个实例集合，它由k个不同正态分布的混合所得分布生成 每个实例使用一个两步骤的过程形成： 首先，随机选择k个正态分布中的一个 其次，随机变量xi按照此选择的分布生成 考虑一个简单情形： 单个正态分布的选择基于均匀的概率进行，且k个正态分布有相同的方差 学习任务：输出一个假设h=?1...?k，描述k个分布中每个分布的均值，找到极大似然假设，即使得p(D|h)最大化的假设 2003.12.18 机器学习-贝叶斯学习 作者：Mitchell 译者：曾华军等 讲者：陶晓鹏 * 估计k个高斯分布的均值（2） 当给定从一个正态分布中抽取的数据实例x1,...,xm时，很容易计算该分布的均值的极大似然假设，它是6.4节中式子6.6的一个特例，表示如下 然而，现在的问题涉及k个不同正态分布，而且不知道哪个实例是哪个分布产生的。这是一个涉及隐藏变量的典型例子 对于图6-4的例子，每个实例的完整描述是三元组xi,zi1,zi2，其中xi是第i个实例的观测值，zi1和zi