数据挖掘技术new.ppt

数 据 挖 掘 技 术 简 介 演讲人：钟云飞 Email：peter@ 2002年7月19日 大 纲 什么是数据挖掘 数据挖掘的标准流程：CRISP－DM 数据挖掘工具——SPSS Clementine简介 第一部分：什么是数据挖掘？ 数据挖掘都干了些什么？ 英国电信需要发布一种新的产品，需要通过直邮的方式向客户推荐这种产品。。。。。。 使直邮的回应率提高了100％ 数据挖掘都干了些什么？ GUS日用品零售商店需要准确的预测未来的商品销售量，降低库存成本。。。。。。 通过数据挖掘的方法使库存成本比原来减少了3.8% 数据挖掘都干了些什么？ 汇丰银行需要对不断增长的客户群进行分类，对每种产品找出最有价值的客户。。。。。。 营销费用减少了30％ 数据挖掘都干了些什么？ 美国国防财务部需要从每年上百万比的军火交易中发现可能存在的欺诈现象。。。。。。 发现可能存在欺诈的交易，进行深入调查，节约了大量的调查成本 数据挖掘都干了些什么？ 美国国内税务局需要提高对纳税人的服务水平。。。。。。 合理安排税务官的工作，为纳税人提供更迅捷、更准确的服务 通过数据挖掘您可以 发现最有价值的客户 通过数据挖掘您可以 使组合销售更有效率 通过数据挖掘您可以 留住那些最有价值的客户 通过数据挖掘您可以 用更小的成本发现欺诈现象 通过采用自动或半自动的手段，在海量数据中发现有意义的行为和规则的探测和分析活动。 数据挖掘能够帮助你选择正确瞄准潜在目标，向现有的客户提供额外的产品，识别那些准备离开的好客户。 什么是数据挖掘 电信 ：流失 银行：聚类（细分）, 交叉销售 百货公司/超市：购物篮分析 （关联规则） 保险：细分，交叉销售，流失（原因分析） 信用卡： 欺诈探测，细分 电子商务： 网站日志分析 税务部门：偷漏税行为探测 警察机关：犯罪行为分析 医学： 医疗保健 数据挖掘应用领域 数据挖掘效益分析(直邮） (Big Bank Credit Card Company) 目的：发现新客户 $85,000 $40,000 $125,000 ($125,000) $0 (1,000) ($250,000) (250,000) 差别 $335,000 40,000 $375,000 $1,125,000 $125 9,000 $750,000 750,000 数据挖掘以后 $250,000 0 $250,000 $1,250,000 $125 10,000 $1,000,000 1,000,000 数据挖掘以前 建模的费用 最终的利润 净利润 总毛利 每个响应的毛利 响应的数量 成本 发信的数量 第二部分：数据挖掘标准流程 ——CRISP-DM CRISP－DM简介 CRISP－DM是CRoss-Industry Standard Process－Data Mining的缩写 由SPSS、NCR、Daimler-Benz在1996年制定 CRISP是当今数据挖掘业界通用流行的标准之一 它强调数据挖掘在商业中的应用，解决商业中存在的问题，而不是把数据挖掘局限在研究领域 CRISP－DM 商业理解 数据理解 数据准备 建立模型 模型评估 模型发布 商业理解（Business Understanding) 找问题－确定商业目标 对现有资源的评估 确定问题是否能够通过数据挖掘来解决 确定数据挖掘的目标 制定数据挖掘计划 数据理解(Data Understanding) 确定数据挖掘所需要的数据 对数据进行描述 数据的初步探索 检查数据的质量 数据准备(Data Preparation) 选择数据 清理数据 对数据进行重建 调整数据格式使之适合建模 建立模型（Modeling) 对各个模型进行评价 选择数据挖掘模型 建立模型 模型评估(Evaluation) 评估数据挖掘的结果 对整个数据挖掘过程的前面步骤进行评估 确定下一步怎么办？是发布模型？还是对数据挖掘过程进行进一步的调整，产生新的模型 模型发布（Deployment） 把数据挖掘模型的结果送到相应的管理人员手中 对模型进行日常的监测和维护 定期更新数据挖掘模型 第三部分：数据挖掘工具 —SPSS Clementine简介 Make a difference with the predictive power of data mining 应用Clementine达到你数据挖掘的目标 图形化的界面、数据流的形式建立模型，保证了应用Clementine进行数据挖掘关注商业更甚于关注技术本身 开放式的技术是更好的保护您的