浙江工商大学金融学院SAS数据挖掘课件.docVIP

第一章：绪论与SAS基础 第一节：数据挖掘概论 一、数据挖掘的基本概念与应用 现代信息社会的特征：各类数据泛滥、知识相对缺乏。 随着计算机技术、数据库技术的快速发展和广泛应用，各行业中积累的数据越来越多，金融行业尤其如此。有数据表明，进入20世纪90年代后，人类积累的数据量以每月高于15%的速度增长，原有的数据库技术不能从海量数据库中挖掘出决策有用信息或新的知识，或者说,原有的数据库技术或统计分析方法不能帮助我们很好地理解这些数据。比如，无法发现数据库中存在的关系与规则、无法根据现有的数据去预测未来的变化趋势。这样就出现了数据泛滥、知识相对缺乏的状态。 例如： 投资者如何从大量的股票交易的历史数据中发现其变化规律，预测未来趋势，从而决定未来的投资方向与投资策略？ 大型超市的决策人员如何从过去数年的销售记录中，分析判断顾客的消费习惯与行为，从而找到合理的营销策略，提高企业经营效率？ 金融领域的风险管理人员如何从历史数据中发现规律，识别可能的金融欺诈或者潜在的信用风险，从而降低金融企业的经营风险？ 为了解决“数据爆炸但知识贫乏”的问题，从20世纪90年代起，数据挖掘技术开始兴起。数据挖掘是一门交叉学科，涉及数据库、统计学、人工智能和机器学习等多个领域。与数据挖掘有关的最早的相近概念称为数据库中的知识发现（KDD, knowledge discovery in database）。1989年第十一届国际联合人工智能学术会议上，首次出现了这个概念。而数据挖掘（date mining）的概念则是1995年在加拿大蒙特利尔的第一届知识发现和数据挖掘国际会议上提出的。 数据挖掘可以定义为：数据挖掘是从海量数据中发掘那些潜在的、鲜为人知的数据规律和数理模式（新的决策有用知识），其目的是在海量数据的基础上发现规律、预测未来的发展趋势。或者简单地说，数据挖掘就是从大量数据中提取或者挖掘有用的知识。 最近20年来，数据挖掘技术成功应用的一些例子： 例1：数据挖掘在商业管理中的应用 日本超市中啤酒与尿片的规律； 英国超市中大额交易者与某种品牌的奶酪的联系； 消费者视角的主要停留区域与商品布置。 例2：数据挖掘在银行中的应用 信用卡违约与欺诈预测模型构建； 企业贷款的信用风险预测模型构建； 反洗钱预警系统构建。 例3：数据挖掘在金融市场中的应用 趋势图与关联规则挖掘； 股票自动交易模式的识别与自动交易系统构建； 外资并构企业预测模型构建。 二、不同学科对数据挖掘技术的研究与开发 数据挖掘是一门综合性的新兴学科，其应用前景十分广泛。1990年代末，在对100名美国著名科学家的问卷调查中，数据挖掘被列为21世纪对人类发展影响最大、最有前途的10大高新技术的第三位。 我国对数据挖掘技术也十分重视，数据挖掘技术的开发与应用最近10年来都被列为国家873、973重大高科技项目，列为我国科技的一个重点发展方向。 数据挖掘是一门综合性的跨学科技术，因此对其的研究也涉及多个学科领域。现在对数据挖掘技术的研究主要包括： 数据挖掘的理论研究：各种数据挖掘技术的理论基础，理论依据研究。从数学、统计学、人工智能、计算机图形学等领域对此展开研究。 数据挖掘的技术研究。从计算数学、统计学、人工智能、机器学习、计算机图形学、软件工程等领域对此展开研究。 数据管理策略研究。从数据库管理技术等领域展开研究。 数据挖掘技术的应用研究。数据挖掘可以在十分广泛的领域中得到应用，其中数据挖掘在金融领域的应用是一个很重要、很有前途的方向。计算机系统、信息网络在金融领域中应用最为普及，从而积累了海量的各类金融数据，而金融领域的知识发现对增强金融机构的市场竞争能力与赢利能力是至关重要的。 本课程主要涉及数据挖掘技术在金融领域的一些创造性应用。 例4：金融机构中设置的金融数据挖掘师岗位 国外许多银行的KDD岗位；KDD：knowledge discovery in database 我国各行业广泛招聘的数据挖掘工程师，有许多招聘明确要求是在金融领域的应用，要求熟悉SAS软件来完成数据挖掘工作。 三、数据挖掘技术中比较成熟的主要功能模块 数据挖掘是一门不断发展中的高新技术，因此其功能处在不断地拓展中。到目前为止，相对比较成熟的、应用比较广泛的功能模块有： 1、特征化、比较与关联规则挖掘 特征化就是总结某类样本的主要特征。如银行的优质客户有哪些特征，哪些客户是银行的潜在的优质客户，应该向谁推荐某种保险产品或理财产品，等等，这些问题都涉及到数据挖掘中的特征化挖掘。 比较是分析不同组样本之间的最显著的差异是什么？如职业“成功人士”与“非成功人士”的最显著差异是什么？信用卡欺诈用户与信用卡优良用户的最显著区别是什么？ 关联规则挖掘就是发现对象的各个指标之间具有怎样的潜在关联性，如哪些指标会同时出现，哪个指标出现