一种基于Boosting集成学习算法在银行个人信用评级中应用.docVIP

一种基于Boosting集成学习算法在银行个人信用评级中应用 　　摘要： 本文针对银行个人信用数据的分类预测问题，从数据集的特征选择和集成学习两个角度出发，提出了PCA-Adaboost-Logistic集成学习算法。在采用Accuracy和AUC作为分类模型评价指标的前提下，本文选取了源于澳大利亚某银行的个人信贷数据集进行测试。测试结果表明本算法在有效提取关键特征后提高了Adaboost的稳定性，并且在分类准确度上相比单纯使用Logistic分类器有不同程度的提高 Abstract： This paper focused on classification prediction problem of the bank personal credit data， proposed a PCA-Adaboost-Logistic ensemble learning algorithm based on feature selection and ensemble learning. Accuracy and AUC were used as the classification model evaluation metric under the premise， this paper used the credit data sets from Australian banks to test the proposed algorithm. The results show that the proposed algorithm improves the stability of the Adaboost after extract the key features， and the classification accuracy is higher than the Logistic classifier. 关键词： 信用评级；主成分分析；Adaboost；逻辑回归 Key words： credit score；PCA；Adaboost；Logistic Regression 中图分类号：F830.5 文献标识码：A 文章编号：1006-4311（2017）18-0170-03 0 引言 1936年，费舍尔[1]提出了统计判别分析的概念，这是信用评级领域的基础。后来，大卫[2]在1941年运用了几种算法来区分好的贷款和坏的贷款。1980年，银行业专家鼓励对信用卡使用信用评级，这也是首次将信用评级应用到其他产品。托马斯[3]定义信用评级为认识银行客户的过程，为了根据一系列预定的标准给他们发放贷款。现在，许多关于信用评级的研究集中到人工智能技术上，比如人工神经网络、遗传算法和支持向量机，这些算法比统计优化方法更能区分客户的好坏。此外，基于集成学习算法的信用评分模型已经被广大的研究人员所使用，他们的研究成果已经证实这种模型比单纯的分类算法模型拥有更好的性能 基于以上的研究背景，本文采取了融合特征选择和集成算法的PCA-Adaboost-Logistic集成学习算法来评估银行客户信用等级。本算法首先利用PCA对数据集进行特征选择，然后采用Adaboost集成学习框架，提出基于Logistic分类器的Adaboost算法，该算法有效提升了分类模型的学习能力，在预测银行客户信用等级方面具有良好的性能 1 PCA-Adaboost-Logistic集成学习算法 1.1 PCA PCA，即Principal Components Analysis，也就是主成分分析。PCA是一种常用的数据分析方法，它通过线性变换将原始数据变换为一组各维度线性无关的表示，可用于提取数据的主要特征分量，常用于高维数据的降维 1.2 Adaboost-Logistic分类算法 1.2.1 Adaboost算法 Boosting，也称为增强学习或提升法，是一种重要的集成学习技术，能够将预测精度仅比随机猜测度略高的弱分类器增强为预测精度高的强分类器。Adaboost正是其中最成功的代表，其被评为数据挖掘十大算法之一[4]。该算法是一种迭代算法，是由Schapire和Freund在1995年共同提出的[5][6][7] Adaboost算法的基本思想是：开始时，每个样本对应的权重是相同的，即其中m为样本个数，那么每个训练样本的初始权重都是1/m，在此样本分布下训练出一弱分类器。基本规则是对训练失败的样本赋予较大的权重，这样下次迭代时分类器将重点学习那些失败的样本，而对于分类正确的样本，降低其权重，从而得到一个新的样本分布。在新的样本分布下，再次对样本进行训练，得到弱分类器。依次类推，经过T次循环，