数据挖掘技术在金融领域的应用.doc

PAGE PAGE 1 数据挖掘技术在金融领域的应用 武 扬 金融部门每天的业务都会产生大量数据，利用目前的数据库系统可以有效地实现数据的录入、查询、统计等功能，但无法发现数据中存在的关系和规则，无法根据现有的数据预测未来的发展趋势。缺乏挖掘数据背后隐藏的知识的手段，导致了数据爆炸但知识贫乏的现象。与此同时，金融机构的运作必然存在金融风险，风险管理是每一个金融机构的重要工作。利用数据挖掘技术不但可以从这海量的数据中发现隐藏在其后的规律，而且可以很好地降低金融机构存在的风险。学习和应用数据挖掘技术对我国的金融机构有重要意义。 1.数据挖掘概述 1.1 数据挖掘的定义 对于数据挖掘，一种比较公认的定义是W.J.Frawley，G.Piatetsk Shapiro 等人提 出的。数据挖掘就是从大型数据库的数据中提取人们感兴趣的知识、这些知识是隐含的、事先未知的、潜在有用的信息，提取的知识表示为概念(Concepts ) ，规则(Rules )、规律 (Regularities )、模式(Patterns)等形式。这个定义把数据挖掘的对象定义为数据库。 随着数据挖掘技术的不断发展，其应用领域也不断拓广。数据挖掘的对象已不再仅是数据库，也可以是文件系统，或组织在一起的数据集合，还可以是数据仓库。与此同时，数据挖掘也有了越来越多不同的定义，但这些定义尽管表达方式不同，其本质都是近似的，概括起来主要是从技术角度和商业角度给出数据挖掘的定义。从技术角度看，数据挖掘就是从大量的、不完全的、有噪声的、模糊的、随机的实际应用数据中，提取隐含在其中的、人们事先不知道的、但又是潜在的和有用的信息和知识的过程。它是一门广义的交叉学科，涉及数据库技术、人工智能、机器学习、神经网络、统计学、模式识别、知识库系统、知识获取、信息检索、高性能计算和数据可视化等多学科领域且本身还在不断发展。目前有许多富有挑战的领域如文本数据挖掘、Web信息挖掘、空间数据挖掘等。从商业角度看，数据挖掘是一种深层次的商业信息分析技术。它按照企业既定业务目标，对大量的企业数据进行探索和分析，揭示隐藏的、未知的或验证已知的规律性并进一步将其模型化，从而自动地提取出用以辅助商业决策的相关商业模式。 1.2 数据挖掘方法 数据挖掘技术是数据库技术、统计技术和人工智能技术发展的产物。从使用的技术 角度，主要的数据挖掘方法包括： 1.2.1 决策树方法：利用树形结构来表示决策集合，这些决策集合通过对数据集的分类产生规则。国际上最有影响和最早的决策树方法是ID3方法，后来又发展了其它的决策树方法。 1.2.2 规则归纳方法:通过统计方法归纳，提取有价值的if- then 1.2.3 神经网络方法：从结构上模拟生物神经网络，以模型和学习规则为基础，建立3 1.2.4 遗传算法：模拟生物进化过程的算法，由繁殖(选择)、交叉(重组)、变异(突变) 1.2.5 粗糙集(Rough Set)方法：Rough集理论是由波兰数学家Pawlak 1.2.6 K2 最邻近技术：这种技术通过K 1.2.7 可视化技术： 1.3.数据挖掘在金融行业中的应用 数据挖掘已经被广泛应用于银行和商业中，有以下的典型应用： 1.3.1 对目标市场(targeted marketing)客户的分类与聚类。例如，可以将具有相同储蓄和货款偿还行为的客户分为一组。有效的聚类和协同过滤( collaborative filtering) 1.3.2 客户价值分析。在客户价值分析之前一般先使用客户分类，在实施分类之后根据“二八原则”，找出重点客户，即对给银行创造了80%价值的20%客户实施最优质的服务。重点客户的发现通常采用一系列数据处理、转换过程、AI 分析鉴别哪些是银行希望保持的客户；通过挖掘找到流失的客户的共同特征，就可以在那些具有相似特征的客户还未流失之前进行针对性的弥补。 1.3.3 应的市场策略。 1.3.4 为多维数据分析和数据挖掘设计和构造数据仓库。 1.3.5 货款偿还预测和客户信用政策分析。有很多因素会对货款偿还效能和客户信用等级计算产生不同程度的影响。数据挖掘的方法，如特征选择和属性相关性计算，有助于识别重要的因素，别除非相关因素。例如，与货款偿还风险相关的因素包括货款率、资款期限、负债率、偿还与收入(payment-to -income) 1.3.6 业务关联分析。通过关联分析可找出数据库中隐藏的关联网，银行存储了大量的客户交易信息，可对客户的收人水平、消费习惯、购买物种等指标进行挖掘分析，找出客户的潜在需求; 1.3.7 洗黑钱和其他金融犯罪的侦破。要 2 基于小波分析和支持向量机的指数预测模型 小波分析理论是目前科学界和工程界讨论和研究最多的课题之一，它包含了丰富的数学内容，又具有巨大的应用潜力。