选择性模糊聚类分析算法.ppt

* * * * * * * * * * * * PAC学习模型与Boosting PAC模型：Probably Approximately Correction 强可学习性：若存在一个多项式级的学习算法来识别一组概念，并且识别正确率很高 弱可学习性：而如果学习算法识别一组概念的正确率仅比随机猜测略好 等价性问题：Kearns和Valiant提出了弱学习算法与强学习算法的等价性问题，即是否可以将弱学习算法提升成强学习算法 因此，只需要找到一个比随机猜测略好的弱学习算法，就可以将其提升为强学习算法。 Boosting算法：Schapire (1990)通过一个构造性方法对该问题作出了肯定的证明 AdaBoosting算法：Freund 集成学习 集成学习（Ensemble）是一种机器学习范式，它使用多个（通常是同质的）学习器来解决同一个问题。 问题 … ... … ... 问题 集成学习中使用的多个学习器称为个体学习器 当个体学习器均为决策树时，称为“决策树集成” 当个体学习器均为神经网络时，称为“神经网络集成” 当个体学习器均为聚类算法时，称为“聚类算法集成” …… …… 集成学习的重要性 由于集成学习技术可以有效地提高学习系统的泛化能力，因此它成为国际机器学习界的研究热点，并被国际权威 T.G. Dietterich 称为当前机器学习四大研究方向之首。 [T.G. Dietterich, AIMag97] 问题：对20维超立方体空间中的区域分类 从上到下的四条线分别表示： 平均神经网络错误率 最好神经网络错误率 两种神经网络集成的错误率 令人惊奇的是，集成的错误率比最好的个体还低 [L.K. Hansen P. Salamon, TPAMI90] 如何构造好的集成 期望结果 个体1 (精度33.3%) 个体2 (精度33.3%) 个体3 (精度33.3%) 集成(精度33.3%) 投票 个体必须有差异 期望结果 个体1 (精度33.3%) 个体2 (精度33.3%) 个体3 (精度33.3%) 集成 (精度0%) 投票 个体精度不能太低 个体学习器越精确、差异越大，集成越好 [A. Krogh J. Vedelsby, NIPS94] 选择性集成 既然多个个体的集成比单个个体更好，那么是不是个体越多越好? 更多的个体意味着： 在预测时需要更大的计算开销，因为要计算更多的个体预测 更大的存储开销，因为有更多的个体需要保存 个体的增加将使得个体间的差异越来越难以获得 Many Could be Better Than All：在有一组个体学习器可用时，从中选择一部分进行集成，可能比用所有个体学习器进行集成更好。 [Z.-H. Zhou et al., AIJ02] Bagging算法 Breiman L. Bagging predicators. Machine Learning, 1996,24(2):123?140. 集成学习算法Bagging：在训练阶段，各学习器的训练集由原始训练集利用可重复取样(bootstrap sampling)技术获得，训练集的规模通常与原始训练集相当。这样，原始训练集中某些示例可能在新的训练集中出现多次，而另外一些示例则可能一次也不出现。 研究表明，Bagging 可以显著提高不稳定的基学习器的泛化能力。 Bagging 算法和其他大多数的集成学习算法都是为监督学习而设计的，对聚类这样的非监督学习来说，由于训练样本缺乏类别标记，聚类结果之间没有直接的对应关系，这将使得对个体学习器的结合难以直接进行。 选择性聚类集成 Breiman L. Bagging predicators. Machine Learning, 1996,24(2):123?140. 集成学习一般包含两个阶段： 个体生成阶段：通过不同的个体生成方式产生不同的个体标记向量。 个体学习器结合阶段：可以采用投票等方式将个体标记向量进行结合。 聚类分析集成学习： 个体生成阶段： （1）采用类似Bagging 算法中产生个体训练集的方式产生用于聚类的训 练集，即通过可重复取样技术从原向量集中产生若干训练集； （2）对每个训练集用FCM算法进行分析，获得聚类中心； （3）利用所得到的聚类中心对原向量集分别进行标记，获得标记向量。 选择性聚类集成 唐伟，周志华，基于Bagging的选择性聚类集成，软件学报，16(4): 496-502, 2005 注意：得到的标记向量由于缺乏先验的类别信息，并不能直接用于下一 阶段的结论合成。 例如：[1，2，2，1，1，3，3]，[2，3，3，2，2，1，1] 为了对聚类结果进行结合，个体