分类器集成中的多样性度量-云南民族大学学报自然科学版.pdfVIP

云南民族大学学报：自然科学版，２０１２，２１（１）：５９～６５ ＣＮ５３－１１９２／Ｎ　ＩＳＳＮ１６７２－８５１３ ｄｏｉ：１０．３９６９／ｊ．ｉｓｓｎ．１６７２－８５１３．２０１２．０１．０１４ ｈｔｔｐ：／／ｘｂｙｎｎｉｅｄｕｃｎ 分类器集成中的多样性度量 谷　雨 （云南民族大学 教育学院，云南 昆明６５００３１） 摘要：分类器之间的多样性被认为是分类器集成的一个关键因素．然而，目前多样性没有统一的 定义和度量，也没有确定的操作方法．针对这些问题，总结和介绍了现有的一些多样性度量方法， 及其在可视化、构造分类器集成方面的多种具体应用方法．最后，讨论了精度与多样性两难问题， 并给出了多样性方法的有效性说明，指出关于集成学习和多样性的研究还有很多问题亟待解决． 关键词：多样性；分类器集成；精度－多样性两难 中图分类号：ＴＰ１８１ 文献标志码：Ａ 文章编号：１６７２－８５１３（２０１２）０１－００５９－０７ ＭｅａｓｕｅＤｉｖｅｒｓｉｔｙｉｎＣｌａｓｓｉｆｅｒＥｎｓｅｍｂｌｅｓ ＧＵＹｕ （ＳｃｈｏｏｌｏｆＥｄｕｃａｔｉｏｎ，ＹｕｎｎａｎＵｎｉｖｅｒｓｉｔｙｏｆＮａｔｉｏｎａｌｉｔｉｅｓ，Ｋｕｎｍｉｎｇ６５００３１，Ｃｈｉｎａ） Ａｂｓｔｒａｃｔ：ＣｌａｓｓｉｆｉｅｒｄｉｖｅｒｓｉｔｙｉｓｒｅｇａｒｄｅｄａｓａｋｅｙｆａｃｔｏｒｉｎＣｌａｓｓｉｆｉｅｒＥｎｓｅｍｂｌｅｐｒｏｂｌｅｍ．Ｈｏｗｅｖｅｒ，ｔｈｅｒｅｅｘｉｓｔｓｎｏ ｕｎｉｆｏｒｍｄｅｆｉｎｉｔｉｏｎ，ｍｅａｓｕｒｅｍｅｎｔａｎｄｏｐｅｒａｔｉｏｎｍｅｔｈｏｄｏｆｄｉｖｅｒｓｉｔｙ．Ｆｏｒｔｈｅｓｅｉｓｓｕｅｓ，ｔｈｉｓｐａｐｅｒｓｕｍｍａｒｉｚｅｄａｎｄｉｎ ｔｒｏｄｕｃｅｄｓｏｍｅｅｘｉｓｔｉｎｇｄｉｖｅｒｓｉｔｙｍｅａｓｕｒｅｍｅｎｔｓ，ａｓｗｅｌｌａｓｔｈｅｉｒａｐｐｌｉｃａｔｉｏｎｉｎｖｉｓｕａｌｉｚａｔｉｏｎａｎｄｃｌａｓｓｉｆｉｅｒｅｎｓｅｍｂｌｅ ｃｏｎｓｔｒｕｃｔｉｏｎ．Ｉｎｔｈｅｅｎｄ，ｔｈｅｄｉｌｅｍｍａｏｆｄｉｖｅｒｓｉｔｙａｎｄａｃｃｕｒａｃｙｉｓｄｉｓｃｕｓｓｅｄ，ａｎｄｔｈｅｅｆｆｅｃｔｉｖｅｎｅｓｓｏｆｄｉｖｅｒｓｉｔｙｉｓ ｒｅｐｒｅｓｅｎｔｅｄ，ｐｏｉｎｔｉｎｇｏｕｔｔｈａｔｌｏｔｓｏｆｐｒｏｂｌｅｍｓｉｎｔｈｅｒｅｓｅａｒｃｈｏｆｅｎｓｅｍｂｌｅｌｅａｒｎｉｎｇａｎｄｄｉｖｅｒｓｉｔｙａｒｅｓｔｉｌｌｗａｉｔｉｎｇｔｏ ｂｅｓｏｌｖｅｄ． Ｋｅｙｗｏｒｄｓ：ｄｉｖｅｒｓｉｔｙ；ＣｌａｓｓｉｆｅｒＥｎｓｅｍｂｌｅｓ；ａｃｃｕｒａｃｙｄｉｖｅｒｓｉｔｙｄｉｌｅｍｍａ 　　集成学习（ＥｎｓｅｍｂｌｅＬｅａｒｎｉｎｇ）是当前机器学习 （Ｂｏｏｓｔｉｎｇ）．直观上看，这些算法（包括它们的变种 与数据挖掘的主要研究方向之一．它的基本思想是 如 ［４］ Ａｒｃｉｎｇ和Ｗａｇｇｉｎｇ） 成功的关键因素是它们得 构造几个不同的学习器，组合它们的结果进行预测 到了一组具有多样性的分类器．Ｂａｇｇｉｎｇ方法中，每 的代价可能远低于创建一个高精度学习器的代价． 个训练集是用自举法对原始训练集复制得来；而 很多作者都证实了通过集成方法可以获得更好的性 Ａｄａｂｏｏｓｔ算法对原始训练集有一个加权集合，在每 能改善，而Ｄｉｅｔｔｅｒｉｃｈ更是提出把多分类器集成作为 个分类器学习后，重新调整权值，那些被前一个分类 ［１］ 机器学习研究的４大重要方向之一 ．在不同的文 器分错了的样本的似然值增加．在这一过程中并没 献中集成学习有不同的名称：学习机委员会、混合专 有显式地定义多样性度量，然而多样性被认为是这 家系统、分类器集成、多分类器系统、一致同意理论