生成学习算法精要.docxVIP

第四部分 生成学习算法 到目前为止，我们主要讨论了建模——给定下的的条件分布——的学习算法。例如，逻辑回归把建模成，这里是sigmoid函数。在这些讲义中，我们将讨论一种不同形式的学习算法。 考虑一个分类问题，在这个分类问题中，我们想基于一个动物的一些特征，来学习区分是大象（）还是小狗（）。给定一个训练集，一个诸如逻辑回归或感知器的算法（基本上）试图找到一条直线—也就是一个分界线—来分离大象和狗。然后，为了把一个新动物归类成大象或者小狗，要检查它落在了边界线的哪一侧，相应地做出预测。 这里有一个不同的方法。首先，看大象，我们可以建立一个大象看起来像什么的模型。然后，看小狗，我们可以建立一个不同的小狗看起来像什么的模型。最后，为了把一个新动物分类，我们可以把它和大象模型相比配，而且把它和小狗模型相比配，来看那个新动物是看起??更像我们训练集中的大象，还是更像我们训练集中的小狗。 试图直接学习的算法（例如逻辑回归）或试图学习从输入空间直接映射到标签的算法（如感知器算法），被称作判别学习算法(discriminative learing algorithms)。这里，我们反而将讨论试图建模（和）的算法。这些算法被称作生成学习算法(generative learing algorithms)。比如，如果表示一个样例是一只小狗(0)或者一只大象（1），然后是小狗特征分布的模型，是大象特征分