破产的例子.PDFVIP

6.034 笔记：第7.1 节 幻灯片7.1.1 我们已经用模拟破产的数据集验证了不同的作用于连续数据的 算法。回想一下，R 代表收入与消费的比例而 L 代表过去的年 破产的例子 份里信用卡延期付款的次数。在这一部分，我们将会学习一个 新的假设类，即线性分类器，而且还会接着用这个例子。 一个关键的看法是每个假设类导致了两个类之间特殊的定义判 别边界的方式在这个边界上，类的预测从一个变为另一个。我 们来详细的看一下。 幻灯片7.1.2 1-最近邻假设 我们提到过一个最近邻算法的假设可以按照特征空间里 voronoi 分割来理解。这证明在代表特征空间数据点里就是最接近试验点 的点。每个查询点都有试验点作为它的最近邻，并且预测将是试 验点的类。判别边界就是不同类的数据所定义的边界，如途中黑 线所示。 幻灯片7.1.3 相似的，一棵决策树在它的特征空间里也有判别边界。请注意， 决策树假设 虽然1NN 和决策树在试验点上一致，但是它们在判定边界不同而 且也会在分类查询点上也不同。这是两种算法的本质区别。 幻灯片7.1.4 线性假设 在这一部分，我们会学习线性分类器，就是空间里单一的线性判 别边界。以这种方式可以将破产数据成功的分类。但是，请注意， 与1NN 和决策树相比，这里不能保证单一的线性分类器能区分所 有的试验数据子集。它是一个非常简单的假设类，其功能不能与 1NN 和决策树相比。但是，尽管它很简单，还是有很多的线性分 类器供我们选择。 还要在一次注意，判别边界与先前的算法不同。所以会有一些线 性分类器非常适合的数据集。比如，事实证明，如果数据是由平 均值不同但标准差相同的两个高斯分布产生的，线性分类器就会 是我们的选择。 幻灯片7.1.5 线性分类 自然而然的，一个能被线性分类器成功分类的数据集就被称为线性 可分类的。 幻灯片7.1.6 非线性分类 正如上面我们提到的，并不是所有的数据都是线性可分类的。这 有一个例子。另一个非可线性分类的数据集是我们的老克星异或。 事实证明，虽然不明显，但随着特征空间维数的增加，线性分类 器越有效。这会在后面被证明是很重要的，所有我们先把它放到 一边。 幻灯片7.1.7 当面对非可线性分类的数据集时，我们有两个选择。一种就是 非线性分类 用一个更复杂的假设类，如图所示。