第2章数据挖掘建模方法.ppt

*/27 * 商务数据挖掘与应用案例分析 第2章 数据挖掘建模方法 2.1 概述 2.2 业务理解 2.3 数据理解 2.4 数据准备 2.5 建模 2.6 评估 2.7 部署 2.1 概述 (1) 成功的数据挖掘是让数据有商业价值，数据挖掘分析师需要知道什么对商业有价值，并且知道为了获得巨大收益如何整理数据。为了成功运用数据挖掘，对数据挖掘技术层面的理解至关重要，尤其是应该了解如何将数据变成有用信息的过程。 本章主要介绍跨行业标准流程CRISP-DM(cross-industry standard process for data mining)。该模型将一个数据挖掘项目的生命周期分为业务理解、数据理解、数据准备、建模、评估和部署等6个阶段，这个流程为我们提供了一个数据挖掘所需步骤的完整概括。 2.1 概述 (2) 业务理解(Business Understanding) 数据理解(Data Understanding) 数据准备(Data Preparation) 建模(Modeling) 评估(Evaluation) 部署(Deployment) 商业数据挖掘案例 某一家银行存在一个业务难题，他们的特别商业产品——家庭抵押贷款额度，不能吸引好的客户，家庭抵押贷款业务量低。为此，美国消费者资产协会决定与Hyperparallel 公司合作，采取数据挖掘方法来解决这个问题。 根据CRISP-DM建模体系，第一阶段是业务理解。从这个案例来看，主要的业务问题是解决家庭抵押贷款的业务量。从业务角度上看，是否存在一些客户群体对家庭抵押贷款这项业务感兴趣，而这些客户群体又有什么共同的特征，客户什么时候最可能需要这种贷款等等。根据一般常识和商业顾问、领域专家的意见，他们认为可能使用家庭贷款业务的人群有两种：一种是有孩子上大学的家长，想通过家庭抵押贷款支付学费，另一种是高收入但收入不稳定的人，想通过家庭抵押贷款事、使其收入削峰填谷。 经过上述的业务理解后，需要进行数据理解。首先要收集数据挖掘过程所需要的数据。多年来，美国银行一直将数百万的零售客户数据存储在一个巨大的关系数据库中。关系数据库中的数据共有42个字段，每个记录保存了客户的详细信息。收集到原始数据后，需要根据问题识别数据有用的特征，检验数据的质量，对缺失的字段、数值型变量的取值范围等质量问题进行检验并作处理。 然后，对这些数据进行筛选，转换，调整，规范化后，输入到公司数据仓库中。美国银行利用这个系统，能参透与银行保持联系的客户的所有关系。数据库中数据的属性汇集成客户独一无二的特征，然后采用Hyperparallel 公司的数据挖掘工具进行分析。 经过数据挖掘工具的决策树功能，按照现有银行划分客户的规则，将客户分成两类，即可能或者不可能对提供家庭抵押贷款做出反应。经过了大量的有购买产品和没有购买产品的客户数据，决策树最终获得判定不同类型客户之间差别的规则。一旦发现规则，利用得到的模型可以给每个潜在客户记录增加一个属性，即好的潜在客户标志，就是由数据挖掘模型生成的。接着使用模式的查找工具，确定客户什么时候最有可能需要这种贷款。最后，使用聚类工具将具有相似属性的客户分成不同的组。在某一点上，数据挖掘工具发现了14个客户簇，其中很多簇似乎没有什么特别的发现。但是，有一个簇具有两个令人费解的特点：一是这个簇的39%的人不同时拥有企业和个人账户，二是这个簇中的客户占到家庭抵押贷款可能响应者的四分之一。这些数据提示好奇的数据挖掘者，上述簇中的客户有可能使用家庭抵押贷款来从事商业活动。 利用数据挖掘的结果，美国消费协会资产协会和银行的零售分支机构联合组织市场调查、与客户面谈。市场调查的结果证实了贷款收入将被用于从事商业活动。尽管市场调查存在一些缺点，例如响应者并不能代表全部的人口，有些客户并非诚实对待调查等等，但是与现有客户和以前的客户进行面谈的时候，也可以深入了解其他方式无法得到的情况。 对由数据挖掘产生的结果进行评估之后，美国银行制定部署运用方案，并且按照方案采取了相应的措施，最终，家庭抵押贷款的响应率从0.7%上升到了7%。 资料来源：(美) Michael J.A. Berry (美) Gordon S.Linoff 著. 数据挖掘技术：市场营销、销售与客户关系管理领域应用.机械工业出版社.2006.7 2.2 业务理解 业务理解是数据挖掘的第一个阶段，从业务的角度了解项目的要求和最终目的是什么，并将这些目的与数据挖掘的定义以及结果结合起来 。具体任务包括： (1) 业务梳理 (2) 业务描述 (3) 业务特征研究 (4) 业务关联分析 2.3 数据理解 （1） 数据理解阶段是从收集数据开始，通过一些活动的处理，目的是熟悉数据，识别数据的质量问