基于神经网络的规则抽取技术在贷款风险预警研究中的应用.pdfVIP

矗堕墅拦皇塑班兰监避 _-一第8届全国青年管理科学与系统科学学术会议论文集 基于神经网络的规则抽取技术在 贷款风险预警研究中的应用 田春艳，杨保安，赵林 (东华大学旭日．Y-商管理学院上海200051) 摘要神经网络的分类预测过程是一个“黑箱”，对于决策者来说是既不可见又 不易于理解的。本文将采用一种规则抽取技术，将隐藏在神经网络中的隐性知识 抽取出来以满足决策者的需要。首先利用BP算法训练神经网络；然后用罚函数 方法对训练后的神经网络进行修剪，在保证分类精度的前提下，去掉不必要的连接 以及节点；之后利用一种基于结构的规则抽取方法一RX算法从修剪后的神经 网络中抽取出符号规则；最后，本文以银行贷款风险预警为书J．进行规则抽取研究。 关键词神经网络；剪枝；规则抽取；风险预警 0引言 神经网络技术在很多不同的领域得到了广泛的应用。神经网络具有强有力的非线性处理能 力，可以在数据量较大、领域信息不完备以及存在噪音数据的情况下取得传统符号学习方法 所难以达到的效果。然而，神经网络学习到的知识蕴藏在大量的神经元权值和神经网络的 结构中，不能以容易理解的形式显示出来，这就成为阻碍神经网络技术发展的主要原因之 一。因此，本文将采用一种规则抽取技术，尝试将隐藏在神经网络中的知识以一种便于理解 的方式表示出来。为了说明这种规则抽取技术的有效性和实用性，文章的最后将把这种技 术应用于贷款风险预警的研究中。 1神经网络规则抽取技术 神经网络以及用于其训练的训练集，为网络产生一个简洁而精确的符号描述”圳。由此可 见，神经网络规则抽取的第一步工作就是对输人数据进行编码，从而确定神经网络的初始结 构。在此之前，许多规则抽取算法利用一定的算法，如遗传算法、Chi等，对输入数据进行预 Data)，选 处理—～特征选择(FeatherSdection)，从而去除原有数据中的噪音数据(Noise [基金项目]国家自然科学基金资助项目。 [作者简介] 田春艳(1981)，女，硕士研究生．主要研究方向：知识管理、智能央策，联乐电话：02l一 63tom。扬保安(1938)，男，教授。博土生导师．主要研究由向：管理决策分析 E-mail：amy—Ichy@I 与智能决策。赵林(1980一)．男，硕士研究生．研究方向：知识管理、智能决策。 660 择准确性较高的输人数据旺嘲。用于规则抽取的神经网络一般采用2进制数据作为输入， 而很多神经网络原有的输人数据集都是连续型数据，这就需要将连续数据进行离散似“。 此外，为了使抽取的规则更易于理解、更加简练，很多规则抽取算法在神经网络训练结束后 都会采用一定的神经网络修剪算法，在保证一定的运算精度下，去掉神经网络一些不必要的 连接或节，hE“。一般的规则抽取过程如图l所示。 I||‘忙母恒圃{母砸亚 ■一 ．—L／、、 ＼一／j 1．1神经网络的剪枝 在从神经网络中抽取规则前，必须对训练好的神经网络进行剪枝(pruning)，以便在保 持神经网络预测精度的同时，尽量减少隐藏节点或相关的连接，从而可以使最后得到的规则 简练、精确。本文采用Setiono提出的罚函数方法进行神经网络的剪枝“]。 具体的算法描述如下。 重是否可以删除的阈值。 (2)令(w，”)为训练好的神经网络的权重。 中删除。 (4)对于网络中的每一个权重’■，如果满足I口。l≤4j22，则将权重w。从网络中删除。 V。w“，将具有摄小值的u“从网络中删除。 (6)重新训练网络。如果网络的分类精度比剪枝以前降低了，则停止剪枝，使用剪枝以 前的网络；否则，转入(3)。 1．2规则抽取 目前，从神经网