数据挖掘及其在金融领域的应用论文.pdfVIP

中国企业运筹学 数据挖掘及其在金融领域的应用 叶伟芳 徐迪 (厦门大学管理科学系，福建厦门 361005) 摘要：数据挖掘是一种潜在功能强大的新技术，它能帮助企业在数据仓库中找到最重要，最具价值的信 息。将该技术有效应用于我国金融行业中，必将提高金融业的整体竞争力。这篇文章首先介绍了数据挖掘的 概念和处理模式，并分析了数据挖掘的功能和采用的技术方法。在此基础上，对数据挖掘在我国金融领域的 应用前景提出了几点思考和建议。 关键词：数据挖掘 数据库 金融 随着金融行业信息基础设施建设的不断完善，信息资源的开发得到了重视，金融企业已开始应用信息技 术对资金流，信息流，业务流进行全面的整合，金融行业进入了“数据大集中”时代。如何处理海量的用户信 息，进行科学的分析处理，并及时提供决策支持；如何从纷繁复杂的用户与市场数据中，挖掘出高附加值的信 息资源等已经成为金融业在发展过程中急需解决的问题。解决上述问题，必须借助数据管理技术，全面挖掘 数据价值。金融企业不仅要建立企业级的数据仓库，实现对经营信息，客户数据的有效存储；还要针对管理决 策的多样化需求，进行深层次的数据加工处理，即进行数据挖掘，从而提高金融业对信息资源的利用能力，实 现企业决策智能化和管理信息化。 一、数据挖掘的概念及处理模式 面对信息社会爆炸式增长的数据，人类分析数据和从中提取有用信息的能力远远不能满足实际需要，由 此产生了数据挖掘。1989年8月，在美国底特律召开的第11届国际人工智能联合会议的专题讨论会上，与会 in 专家首次提出知识获取(KnowledgeDiscovery 会议提出了数据挖掘(datamining)概念，它形象地把大型数据看成是存放有价值信息的矿藏，通过有效的知识 发现技术从中挖掘或开采出有用的信息。 数据挖掘也叫数据开采，数据采掘等，是按照既定的业务目标从海量数据中提取出潜在，有效并能被人理 解的模式的高级处理过程。也有一些文献把数据挖掘称为知识抽取(knowledgeextraction)，数据考古学(data archaeology)，数据捕捞(datadredging)等等。数据挖掘从一个新的角度将数据库技术，机器学习，统计学等领 域集合起来，从更深层次中发掘存在于数据内部的有效的，新颖的模式。数据挖掘是一个多步骤的处理过程 (见图1)，一般分为： 图1数据挖掘的过程模式． 数据挖掘的过程一般包括五个步骤，分别是： (1)问题的定义：了解相关领域的有关情况，熟悉背景知识，弄清用户的要求： (2)数据提取：根据要求从数据库中提取相关的数据； (3)数据预处理：主要对前一个阶段产生的数据进行再加工，检查数据的完整性及数据的一致性，对其中 的噪音数据进行处理，对丢失的数据进行填补； (4)知识提取：运用选定的知识发现算法，从数据库中提取用户所需要的知识，这些知识可以用一种特定 一52— 数据挖掘及其在金融领域的应用 的方式表示或使用的一些常用的表示方式； (5)知识评估：将发现的知识以用户能理解的方式呈现，如某种规则，再根据实际情况对知识发现过程中 的具体处理阶段进行优化，直到满足用户的要求。 二、数据挖掘的功能 数据挖掘的功能可分为两类：描述和预测。前者刻画数据的一般特性，从而获得相关的知识；后者在分析 当前数据的基础上进行推断，这就是数据挖掘的价值所在。具体功能如下： 1．关联分析(association analysis) 数据关联是数据库中存在的一类可被发现的知识，如果两个或两个以上的变量的取值存在某种规律性， 就称为关联。关联分析主要用来发现关联规则，找出数据库中隐藏的关系网。这种功能现已被广泛地用于 “购物篮的事物数据分析”，如：它能发现数据库中形如“90％的顾客再一次购买活动中购买商品A的同时购买 商品B”之类的知识。 对于结构化的数据，以客户的购买习惯数据为例，利用关联分析，可以发现客户的关联购买需要。例如， 一个开设储蓄账户的客户很可能同时进行债券交易和股票交易，购买纸尿裤的男顾客经