数据挖掘和数据分析.ppt

Data Mining：Concept, technical and method NCR Data Mining Team 2005/06 议程 数据挖掘概述 数据挖掘业务案例 数据挖掘概念与常用技术 数据挖掘软件与架构 数据挖掘常见软件 Teredata Warehouse Miner架构特点 数据挖掘实施与应用 挖掘过程:有效的实施方法论 应用过程:策划和执行 系统支撑:有效的IT系统 成功的关键 议程 数据挖掘概述 数据挖掘业务案例 数据挖掘概念与常用技术 数据挖掘软件与架构 数据挖掘常见软件 Teredata Warehouse Miner架构特点 数据挖掘实施与应用 挖掘过程:有效的实施方法论 应用过程:策划和执行 系统支撑:有效的IT系统 成功的关键 “无所不能”的数据挖掘？ 金融业成功案例 客户流失预测 客户生态细分 客户响应模型Right channel for right customer 预测信用卡客户延滞行为 议程 数据挖掘概述 数据挖掘业务案例 数据挖掘概念与常用技术 数据挖掘软件与架构 数据挖掘常见软件 Teredata Warehouse Miner架构特点 数据挖掘实施与应用 挖掘过程:有效的实施方法论 应用过程:策划和执行 系统支撑:有效的IT系统 成功的关键 什么是数据挖掘? Data Mining is for power users to follow a proven methodology to discover action-oriented insights from detail operations data to improve business. 数据挖掘是分析专家使用已验证的方法在经营数据中发掘可采取行动的改善企业的洞察力。 数据挖掘: 多学科的融合 从海量的数据库中识别出有效的、新颖的、潜在有用的，以及最终可理解的模式的非平凡过程 -Fayyad，Piatetsky Shapiror 1996 若干种术语： 数据挖掘、数据库中的知识发现（KDD），知识抽取，数据/模式分析，数据考古，数据捕捞，商业智能等 最常用的术语是“数据挖掘”和“知识发现” 数据挖掘：流行于统计界（最早出现于统计文献中）、数据分析、数据库和管理信息系统界 知识发现：主要流行于人工智能和机器学习界。 数据挖掘潜在应用 数据库分析和决策支持 市场分析和管理 目标营销，客户关系管理，购物篮分析，交叉销售，市场分群、客户保持 欺诈检测与管理 其它应用 文本挖掘（新闻组，电子邮件，文档）和Web分析 智能询问解答(QA)系统 市场分析和管理 (1) 分析的数据源在哪里 信用卡交易，积分卡，折扣优惠券，客户抱怨电话，以及（公众）生活方式研究 目标营销 发现具有相同特征的客户群模型：兴趣，收入水平，消费习惯等 判别客户的序列购买模式 从单身账户到共有账户的转变：结婚 交叉销售分析 产品销售之间的关联 基于关联信息而进行的预测 市场分析和管理 (2) 构造客户特征 客户如何选择和使用我们的产品和服务？ 识别出客户需求 识别出适合不同客户的最佳产品 通过预测来发现吸引新客户的因素 提供综合信息 各种各样的多维综合报表 统计上的综合信息（数据的集中趋势和变化） 欺诈检测和管理 (1) 应用 广泛用于健康卫生，零售，信用卡服务，电信（电话卡欺诈）等行业 方法 使用历史数据来构造欺诈行为模型，同时利用数据挖掘来辅助识别出类似案例 示例 汽车保险: 检测出那些伪造事故来骗取保险金的人群 洗钱: 检测可疑的金钱交易（美国财政部的金融犯罪执行网络） 医疗保险: 检测出职业病人 欺诈检测和管理 (2) 检测出不必要的医疗处理 澳大利亚医疗保险委员会查出在许多案例中病人都要求blanket screening tests(每年节省一百万澳元)。 检测电话欺诈 通话模型：对端号码，通话时长，每天（周）通话次数。分析那些偏离预期的通话模式。 英国电信检测出频繁进行集团内部通话（特别是用手机通话）的一些犯罪集团，成功避免了数百万美元的欺诈。 零售 分析家估计大约38%的零售额减少是由于不诚实的员工造成的 其它应用 体育 IBM Advanced Scout分析了NBA比赛的统计数据（阻攻, 助攻, 犯规等)，帮助纽约尼克斯队和迈阿密热队提高竞争优势 天文学 JPL和Palomar天文台借助数据挖掘技术发现了22颗类星体 因特网冲浪辅助 IBM Surf-Aid利用数据挖掘算法来分析与销售有关的Web访问日志，发现用户的偏好和行为，分析电子商务的有效性，改善网站的结构等 客户为中心，市场为导向 常见的业务问题 常用的技术 业务目标 分析方法/技术 --------------------