基于随机森林的特征选择及其在企业信用评估中的应用研究.pdfVIP

青岛大学学报(工程技术版) V01．2I 第21卷专辑 Special Jn1 2006 200 JOURNALOF y 6年7月 QINGDAOUNIVERSITY(E＆D 基于随机森林的特征选择及其在 企业信用评估中的应用 彭国兰，林成德 (厦门大学自动化系，福建厦门361005) 摘要：企业信用评估是对贷款企业的还贷能力和还贷信用的综合评价。要建立科学准 确的企业信用评估模型，首先要对高维数据进行特征选择。特征选择能有效降低输入空 间的维数，提高学习效率和分类准确率。本文引入随机森林进行特征选择，并通过实验 证明了该方法的有效性和优越性。 关键词；特征选择：随机森林；企业信用评估 企业信用评估是对银行贷款企业的还贷能力和还 1随机森林的工作原理 贷信用的综合评价。目前国际上广泛采用的企业信用 2I 随机森林【q是LeoBreiman于2001年提出的一个 评估模型主要有：统计模型…I和神经网络模型f (Neural 组合分类器算法，是由许多单棵分类回归树 Network，简称：NN)：近年来，在智能 (CART)组合而成的，最后由投票法决定分类结 学习系统领域发展起来的新理论，适合小样本学习的 果。单棵树的生成依赖于一个独立同分布的随机向 rtVeetor 通用学习算法聚支持向量机(Suppo 量；整体的泛化误差取决于森林中单棵树的分类效 Machine，简称；SVM)也应用到信用评估领域吲。 能和各分类树之间的相关程度。Breiman采用 由于企业财务状况的好坏直接决定了企业的还贷能 力，因此我们考虑的信用评估模型是建立在银行提 单棵分类树效能的同时，减少各分类树之间的相关 供的企业财务数据上的。财务数据可分为两类，一类 度，提高了组合分类器的性能。 为与行业规模有关的非比率财务指标，另一类为与 1．1分类树 行业规模无关的财务比率指标。本文主要考虑纯粹 分类树是一个类似树形结构的流程图，每个内 的财务比率指标，因为这些指标脱离了具体的企业 部节点表示一个基于特征的测试，树枝描述测试结 属性．在不同的企业间具有可比性。通过分析银行提 供的财务数据，发现数据属性繁多，而且众多的财务 果，叶子节点指明分类结果(通常是一个类别名称)。 分类树的构建取决于训练样本数据和每个内部节点 数据分布复杂，对评估模型形成很强的噪声干扰。特 用来分裂的特征。要构造一个好的分类树，关键在于 征子集选择的一个重要目的是为了降低输入空问的 恰当地选择特征进行分裂。通常，选取包含信息较多 维数，降低学习的复杂度。减少过拟合的风险。因此，