不均衡问题中的特征选择新算法im-ig-山东大学学报工学版.pdfVIP

　第４０卷　第５期 山　东　大　学　学　报　（工　学　版） ２０１０年１０月　 　 　　 Ｖｏｌ．４０　 Ｎｏ．５　　 　ＪＯＵＲＮＡＬＯＦＳＨＡＮＤＯＮＧＵＮＩＶＥＲＳＩＴＹ（ＥＮＧＩＮＥＥＲＩＮＧＳＣＩＥＮＣＥ） Ｏｃｔ．２０１０　 　文章编号：１６７２３９６１（２０１０）０５０１２３０６ 不均衡问题中的特征选择新算法：ＩｍＩＧ 尤鸣宇，陈燕，李国正 （同济大学电子与信息工程学院，上海２０１８０４） 摘要：机器学习中各类别样本数目不等是普遍存在且备受关注的不均衡问题。广泛用于特征选择的信息增益ＩＧ （ｉｎｆｏｒｍａｔｉｏｎｇａｉｎ）算法，在这类不均衡问题中的表现却极少被研究。本文在讨论ＩＧ算法在不同均衡度数据集上性 能的基础上，提出了一种新的解决不均衡问题的特征选择算法ＩｍＩＧ（ｉｍｂａｌａｎｃｅｄｉｎｆｏｒｍａｔｉｏｎｇａｉｎ）。ＩｍＩＧ通过提 高小类分布在信息熵计算中的权重，优先选入有利于小类正确分离的特征。在提升整体分类性能的同时，着眼于 提高小类的正确率。在多个不均衡数据集上的实验结果表明，ＩｍＩＧ算法能较好地解决ＩＧ算法在不均衡问题中 的不适应性，是一种有效的不均衡问题特征选择算法。 关键词：ＩｍＩＧ算法；不均衡问题；特征选择 中图分类号：ＴＰ３９１　　　文献标志码：Ａ ＩｍＩＧ：ａｎｏｖｅｌｆｅａｔｕｒｅｓｅｌｅｃｔｉｏｎｍｅｔｈｏｄｆｏｒｉｍｂａｌａｎｃｅｄｐｒｏｂｌｅｍｓ ＹＯＵＭｉｎｇｙｕ，ＣＨＥＮＹａｎ，ＬＩＧｕｏｚｈｅｎｇ （ＣｏｌｌｅｇｅｏｆＥｌｅｃｔｒｏｎｉｃａｎｄＩｎｆｏｒｍａｔｉｏｎ，ＴｏｎｇｊｉＵｎｉｖｅｒｓｉｔｙ，Ｓｈａｎｇｈａｉ２０１８０４，Ｃｈｉｎａ） Ａｂｓｔｒａｃｔ：Ａｎｉｍｂａｌａｎｃｅｄｄａｔａｓｅｔｉｓａｎｕｂｉｑｕｉｔｏｕｓｐｒｏｂｌｅｍｉｎｔｈｅｍａｃｈｉｎｅｌｅａｒｎｉｎｇｆｉｅｌｄ，ｗｈｉｃｈａｔｔｒａｃｔｓｍｕｃｈａｔｔｅｎｔｉｏｎ ｆｒｏｍｒｅｌａｔｅｄｓｃｉｅｎｔｉｓｔｓ．Ｔｈｅｉｎｆｏｒｍａｔｉｏｎｇａｉｎ（ＩＧ）ｍｅｔｈｏｄｉｓｗｉｄｅｌｙｕｓｅｄｉｎｆｅａｔｕｒｅｓｅｌｅｃｔｉｏｎ，ｂｕｔｉｔｉｓｓｅｌｄｏｍｓｔｕｄｉｅｄｉｎ ｉｍｂａｌａｎｃｅｄｐｒｏｂｌｅｍ．ＢａｓｅｄｏｎｔｈｅｐｅｒｆｏｒｍａｎｃｅｄｉｓｃｕｓｓｉｏｎｏｆＩＧｏｎｉｍｂａｌａｎｃｅｄｄａｔａｓｅｔｓ，ａｎｅｗｍｅｔｈｏｄＩｍＩＧｗａｓ ｐｒｏｐｏｓｅｄｆｏｒｔｈｅｉｍｂａｌａｎｃｅｄｐｒｏｂｌｅｍｉｎｆｅａｔｕｒｅｓｅｌｅｃｔｉｏｎ．ＩｍＩＧｉｎｃｒｅａｓｅｄｔｈｅｗｅｉｇｈｔｏｆｍｉｎｏｒｃｌａｓｓｉｎｔｈｅｅｎｔｒｏｐｙｃａｌ ｃｕｌａｔｉｏｎ，ｉｎｏｒｄｅｒｔｏｓｅｌｅｃｔｆｅａｔｕｒｅｓｗｈｉｃｈｗｅｒｅｂｅｔｔｅｒｆｏｒｍｉｎｏｒｃｌａｓｓ．ＩｍＩＧｆｏｃｕｓｅｄｏｎｉｍｐｒｏｖｉｎｇｔｈｅｃｌａｓｓｉｆｉｃａｔｉｏｎａｃ ｃｕｒａｃｙｏｆｍｉｎｏｒｃｌａｓｓ，ｂａｓｅｄｏｎｔｈｅｐｅｒｆｏｒｍａｎｃｅｉｍｐｒｏｖｅｍｅｎｔｏｆｔｈｅｗｈｏｌｅｄａｔａｓｅｔ．Ｅｘｐｅｒｉｍｅｎｔａｌｒｅｓｕｌｔｓｏｎｓｅｖｅｒａｌｉｍ ｂａｌａｎｃｅｄｄａｔａｓｅｔｓｓｈｏｗｅｄｔｈａｔＩｍＩＧｃａｎｓｏｌｖｅｔｈｅｉｍｂａｌａｎｃｅｄｐｒｅｄｉｃａｍｅｎｔＩＧｍｅｔａｎｄｉｔｗａｓａｎｅｆｆｅｃｔｉｖｅｆｅａｔｕｒｅｓｅｌｅｃ ｔｉｏｎｍｅｔｈｏｄｆｏｒｔｈｅｉｍｂａｌａｎｃｅｄｐｒｏｂｌｅｍ． Ｋｅｙｗｏｒｄｓ：ＩｍＩＧｍｅｔｈｏｄ；ｉｍｂａｌａｎｃｅｐｒｏｂｌｅｍ；ｆｅａｔｕｒｅｓｅｌｅｃｔｉｏｎ 有１０８０００个样本，只有约７４％是欺诈样本。Ｃａ ０　引言 ｓｔｉ