knn多类标算法.ppt

KNN多类标算法 M.-L. Zhang and?Z.-H. Zhou.?ML-kNN: A lazy learning approach to multi-label learning.?Pattern Recognition, 2007, 40(7): 2038-2048. E. Spyromitros, G. Tsoumakas, I. Vlahavas, “An Empirical Study of Lazy Multilabel Classification Algorithms”, Proc. 5th Hellenic Conference on Artificial Intelligence (SETN 2008), Springer, Syros, Greece, 2008. Multilabel classification via calibrated label rankingJohannes Fürnkranz · Eyke Hüllermeier ·Eneldo Loza Mencía · Klaus BrinkerReceived: 1 February 2007 / Revised: 21 April 2008 / Accepted: 12 June 2008 /Published online: 6 August 2008 Springer Science+Business Media, LLC 2008 文章组织 首先介绍多类标分类问题的算法转化方法的一种：MLKNN 然后介绍多类标分类问题的问题转化方法的： BRKNN， LPKNN，CLR。 两类方法的普遍共识： MLKNN 介绍一下标记： 单个样例表示为x ，x的类标号集合为Y，yx为x的类别向量， yx的第l个分量yx(l)在 时为1，否则为0. N(x): 表示训练数据集中x的k个邻居的标记. Cx(l) :表示x的k近邻中第l个类标为1的个数： ： MLKNN 对于测试样例t，预测yt(l).首先计算t在训练样例集中的k个邻居（N(t)），Ct(l)表示t的k个邻居中第l个类标分量为1的个数，而 表示在t的k个邻居中恰好有Ct(l)个邻居的第l个类标分量为1的事件，方便我们用概率的形式处理。 （1） 上式就可以求出测试样例t的第l个类标分量的值，也可以看出MLKNN算法的关键步骤：怎样求出（1）。 MLKNN MLKNN 是训练数据集的先验信息，是一个1×|Y|的矩阵。 计算后验概率 。 MLKNN MLKNN MLKNN MLKNN 使用的度量方法 : Hamming Loss: One-error: MLKNN 度量方法： Coverage： Ranking Loss： MLKNN 度量方法： Average Precision： MLKNN 数据集统计信息: Label cardinality：数据集中每个样例的平均类标号个数： Label Density：数据集中每个样例的每个样例的平均类标号个数： （m为数据集样例数量，q为总类别数量，Yi为第i个样例的类标集） MLKNN 常用数据集介绍： MLKNN 实验结果： BRKNN BR是一种比较常见的多类标问题转化方法，它学习q(类标个数)个二分(binary)分类器，每个分类器对应不同的类标。它把原始数据集转化为q个数据集，每个数据集都包含原始数据集的所有样例。 文章中讲到的是BR方法与KNN分类算法的结合。 BRKNN概念上等价于BR和KNN的简单连接，但是他们的简单结合的计算复杂度是KNN的|Ｌ｜倍，为了避免，BRKNN像KNN一样独立预测每个类标，但是使用的是单步搜索，这样计算复杂度就和KNN持平了。 BRKNN有两个基于对每个类标confidence scores的变形： 类标的confidence：一个新样例x，它的K个最近邻的类标集合为 Yj，j=1…K, 类标r的confidence cr： BRKNN 第一个变形是BRKNN-a，它检查BRKNN对新的测试样例x是否输出空的类标集。也就是对每个类标来说x的K个邻居中至少有一半的邻居不包含这个类标，如果这种状况发生时BRKNN-a负责输出具有最大confidence