基于惩罚的SVM和集成学习的非平衡数据分类算法研究.pdfVIP

第３１卷第１期　　　 计算机应用与软件 Ｖｏｌ３１Ｎｏ．１ ２０１４年１月　　 ＣｏｍｐｕｔｅｒＡｐｐｌｉｃａｔｉｏｎｓａｎｄＳｏｆｔｗａｒｅ Ｊａｎ．２０１４ 基于惩罚的ＳＶＭ和集成学习的非平衡数据分类算法研究 刘 进 军 （阳江职业技术学院计算机科学系　广东阳江５２９５００） 摘　要　　利用各类算法对非平衡数据进行处理已成为数据挖掘领域研究的热问题。针对非平衡数据的特点，在研究支持向量机 的相关理论及ＫＳＶＭ算法基础上，提出基于惩罚机制的ＰＦＫＳＶＭ（Ｋ－ＳＶＭｂａｓｅｄｏｎｐｅｎａｌｔｙｆａｃｔｏｒ）算法，克服ＫＳＶＭ在最优分类面 附近易发生错分的问题；并提出由重构采样层、基本训练层和综合判定层组成的集成学习模型。利用ＵＣＩ公共数据集的实验验证了 ＰＦＫＳＶＭ算法及集成模型在处理非平衡数据分类时的优势。 关键词　　数据挖掘　支持向量机（ＳＶＭ）　非平衡数据分类　集成学习 中图分类号　ＴＰ３　　　　文献标识码　Ａ　　　　ＤＯＩ：１０．３９６９／ｊ．ｉｓｓｎ．１０００３８６ｘ．２０１４．０１．０４９ ＲＥＳＥＡＲＣＨＯＮＣＬＡＳＳＩＦＹＩＮＧＵＮＢＡＬＡＮＣＥＤＤＡＴＡＢＡＳＥＤＯＮ ＰＥＮＡＬＴＹＢＡＳＥＤＳＶＭＡＮＤＥＮＳＥＭＢＬＥＬＥＡＲＮＩＮＧ ＬｉｕＪｉｎｊｕｎ （ＤｅｐａｒｔｍｅｎｔｏｆＣｏｍｐｕｔｅｒＳｃｉｅｎｃｅ，ＹａｎｇｊｉａｎｇＶｏｃａｔｉｏｎａｌａｎｄＴｅｃｈｎｉｃａｌＣｏｌｌｅｇｅ，Ｙａｎｇｊｉａｎｇ５２９５００，Ｇｕａｎｇｄｏｎｇ，Ｃｈｉｎａ） Ａｂｓｔｒａｃｔ　　Ｔｏｐｒｏｃｅｓｓｔｈｅｕｎｂａｌａｎｃｅｄｄａｔａｗｉｔｈｖａｒｉｏｕｓａｌｇｏｒｉｔｈｍｓｈａｓｂｅｃｏｍｅａｆｏｃｕｓｉｎｄａｔａｍｉｎｉｎｇｒｅｓｅａｒｃｈ．Ａｉｍｉｎｇａｔｔｈｅｃｈａｒａｃｔｅｒｉｓｔｉｃ ｏｆｔｈｅｕｎｂａｌａｎｃｅｄｄａｔａ，ｏｎｔｈｅｂａｓｉｓｏｆｓｔｕｄｙｉｎｇｔｈｅｒｅｌａｔｅｄｔｈｅｏｒｙｏｆｓｕｐｐｏｒｔｖｅｃｔｏｒｍａｃｈｉｎｅｓａｎｄｔｈｅＫＳＶＭａｌｇｏｒｉｔｈｍ，ｗｅｐｒｅｓｅｎｔｔｈｅ ｐｅｎａｌｔｙｍｅｃｈａｎｉｓｍｂａｓｅｄＰＦＫＳＶＭ （ＳＶＭｂａｓｅｄｏｎｐｅｎａｌｔｙｆａｃｔｏｒ）ｍｅｔｈｏｄｔｏｏｖｅｒｃｏｍｅｔｈｅｐｒｏｂｌｅｍｏｆＫＳＶＭｔｈａｔｉｔｉｓｐｒｏｎｅｔｏ ｍｉｓｃｌａｓｓｉｆｉｃａｔｉｏｎｗｈｅｎｎｅａｒｂｙｔｈｅｏｐｔｉｍａｌｃｌａｓｓｉｆｉｃａｔｉｏｎｓｕｒｆａｃｅ．Ｔｈｅｎ，ｗｅｐｒｏｐｏｓｅａｎｅｎｓｅｍｂｌｅｌｅａｒｎｉｎｇｍｏｄｅｌｃｏｍｐｏｓｉｎｇｏｆｔｈｅｒｅｃｏｎｓｔｒｕｃｔｅｄ ｓａｍｐｌｉｎｇｌａｙｅｒ，ｂａｓｉｃｔｒａｉｎｉｎｇｌａｙｅｒａｎｄｄｅｃｉｓｉｏｎｌａｙｅｒ．ＴｈｅｅｘｐｅｒｉｍｅｎｔｕｓｉｎｇＵＣＩｐｕｂｌｉｃｄａｔａｓｅｔｓｖｅｒｉｆｉｅｓｔｈｅｐｒｅｄｏｍｉｎａｎｃｅｏｆＰＦＫＳＶＭ ａｌｇｏｒｉｔｈｍａｎｄｔｈｅｅｎｓｅｍｂｌｅｍｏｄｅｌｉｎｐｒｏｃｅｓｓｉｎｇｔｈｅｕｎｂａｌａｎｃｅｄｄａｔａｃｌａｓｓｉｆｉｃａｔｉｏｎ． Ｋｅｙｗｏｒｄｓ　　Ｄａｔａｍｉｎｉｎｇ　Ｓｕｐｐｏｒｔｖｅｃｔｏｒｍａｃｈｉｎｅ（ＳＶＭ）　Ｕｎｂａｌａｎｃｅｄｄａｔａｃｌａｓｓｉｆｉｃａｔｉｏｎ　Ｅｎｓｅｍｂｌｅｌｅａｒｎｉｎｇ 用的信息。２）算法层面上，对算法的改进。通常可以通过加入 ０　引　言 惩罚机制或利用集成学习来对数据分布的非平衡做一些补偿， 这种方法不会破坏现有的数据组成。 近年来，非平衡数据挖掘日益受到机器学习领域内专家 国外学者的研究中，Ｊａｐｋｏｗｉｃ等［７］通过实验的方法研究了 和学者的关注，非平衡类数据挖掘被列为数据挖掘领域的十 不同分类方法在处理非平