增量和朴素贝叶斯学习.docVIP

增量和朴素贝叶斯学习 查尔斯埃尔卡恩elkan@cs.used.edu Technical Report No. CS97-557, September 1997 First version May 1997 摘要：虽然所谓的“”贝叶斯分类对一个实例的属性的值是独立鉴于类的不切实际的假设这种学习方法在实践中是非常成功的，没有更好的学习方法Yoav Freund和Rob Schapire提出的提升方法是一种结合多种分类器的一般方法，本文介绍了提升方法应用于朴素贝叶斯分类器领域的结合分类器，它是相当于前馈多层感知器标准（结果是，朴素贝叶斯分类是一个非参数非线性的回归分析概括。）作为一个训练算法朴素贝叶斯学习倒传递不同，具有一定的优势可以在计算单位时间的对数与线性号码并行这些学习方法很可能作为模型其它参数表明，他们是可信的最近的表明[[Domingos and Pazzani，1996]Freund and Schapire提出的增量。本文还认为不论有没有与增量相结合，朴素贝叶斯分类器作为动物和人类学习的一种模型在理论上和行为上都是可信的。特别的，我们认为当Freund and Schapire的AdaBoost的迭代算法应用于跟各种朴素贝叶斯分类器相结合，由此产生的组合稀疏编码输入前馈神经网络在现实世界的例子下面讨论的数据集在这里不讨论其他许多数据集这样的分类器具有更好的测试准确性增殖在一个现代化的工作站……AK}用于分类不相关的类别C。假设我们的观察到的属性值为{ a1,a2……aK }，其最理想的分类类别为此概率最大的类别： 根据贝叶斯公式的定义可知，此概率等于 这种背景可能性或者基础概率Pr能够通过训练很简单得获得。样本的可能性 是与决策类别C相关的。因此学习可以归结为从学习样本中估计 再次从贝叶斯理论可知，这种类别条件概率能够被写成 此式的第二项又被写成 以此类推。 现在我们假设各种属性Ak与其他属性Aj之间和决策属性C之间都是独立的。因此，我们可以得到 并以此类推至A2,A3……Ak，然后 可以等价于 现在上式中的各项可以通过如下的计算从学习数据集中得到： （1） 从中我们可以看到等式（1）给出了最大可能性的估计方法，也就是从训练数据集中获得的最大化的可能性参数值。 3 朴素贝叶斯分类器，感知器和logistic回归…….ak都能在测试样本中被观察到。定义b0=Pr（C=0）,b1=Pr（C=1）=1-b0, 并且有 那么 这里Z是一个正常的常量，给出上式的对数形式为 一般来讲，假设属性Aj有v（j）的可能性。且定义 这里1jv(j), 那么 （2） 这里I有指针的功能：I=1代表是正确的，I=0代表错误。 等式（2）正确的描述了通过标记行为可察觉的功能和稀少的属性特征，也就是说用少量输入求得有关v（j）可能性的属性Aj。朴素贝叶斯分类就是等价于用本地的输入获得代表性。因此最大化的可能性学习即等式（1）就是像其他训练方法一样从学习样本中获得这些参数。 它还可能表明朴素贝叶斯分类泛化的logistic回归，它是以数值属性值的概率分类最广泛使用的统计方法最简单的量化方法是复杂的量化的非参数近似倾斜，多式联运，和重尾概率分布。 Freund 和 Schapire的AdaBoost运算如下：假设Wi=1/N，比如i=1,2,3 ……N。且轮数t=1,2,3 假设各个部分分类器是确实有效的，那么以上给出的是运算统计的直观描述。AdaBoost的变量试验表明其中任何一个详细数据对于最后的结果都不是至关重要的，这种加权所有错误分类样本的基本思想在实践应用中是非常重要的。 Freund和Schapie的目的之一是让最终的结合假设通过下式给出： 这里的各个分类器的连续结合是 我们现在知道了增量型朴素贝叶斯分类器是等价于一个附有一个简单隐藏层的多重感知器。并可得到如下函数： 简单的说多重分类器的输出是通过将一个S型函数应用到一个各部分分类器加权总和输出的分类器得到的。因此各部分朴素贝叶斯分类器是同样等价的成分，且总体分类器等价于一个有简单隐藏层的成分网络。 5 计算复杂度 假设样本有f种属性，且每种属性有v种取值，那么根据等式（2）可得一个朴素贝叶斯分类器有fv+1种参数。这些参数要通过2fv+2次计算才能学习得到。每一个训练样本的各个属性值都会增加一次运算。因此对于有e个样本的训练时间为O（ef），与v是无关的。时间复杂度的估计是理想化的：每个训练样本的每个属性的训练运算都是同样的复杂度。比较而言，训练一个决策树并不是单纯的需要O(ef2)的时间。（引起这种结果的运算是不合适的。）在增量情况下更新权重所需要的时间也是O（ef），所以增量T轮所需的时间总和事O（Tef）。 当对一个朴素贝叶斯分类器累计运算次数时，训练样本直接从硬盘