HBDW-DMG-数据挖掘基本概念培训.pptVIP

湖北电信经营分析与决策支持系统数据挖掘基本概念培训 主讲人：邓爱林 湖北电信数据仓库项目组 2007年6月 （Why）为何需要数据挖掘? 数据挖掘FAQ （Why）为何需要数据挖掘? 丰富的数据 自动化的数据收集工具和成熟的数据库技术导致了数据库、数据仓库和其它信息仓库中储存了海量数据 贫乏的决策信息 面对上亿条话单数据，能看出哪些客户下个月会流失吗？ 能看出客户的消费模式吗？ 能看出有哪些潜在客户群体吗？它们宏观上有什么特征吗？ 解决方案 数据仓库和联机分析处理 利用数据挖掘帮助我们分析海量数据！ （Why）为何需要数据挖掘？- 潜在应用 客户分析 客户战略分群 客户流失预测 目标营销 欺诈检测 产品服务推荐 文本挖掘：自动文摘、文档自动分类 Web挖掘：GOOGLE、BAIDU、自适应个性化网络服务 专家系统：智能询问解答(QA)系统 其他应用：生物信息学、多媒体挖掘、天文学等 （What）什么是数据挖掘? 从海量的数据库中识别出有效的、新颖的、潜在有用的，以及最终可理解的模式的非平凡过程 -Fayyad，Piatetsky Shapiror 1996 若干种术语： 数据挖掘（DM）、数据库中的知识发现（KDD），知识抽取，数据/模式分析，数据考古，数据捕捞，商业智能（BI）等 最常用的术语是“数据挖掘”和“知识发现” 数据挖掘：流行于统计界（最早出现于统计文献中）、数据分析、数据库和管理信息系统界 知识发现：主要流行于人工智能和机器学习界 数据挖掘分类 一般功能 描述型数据挖掘 预测型数据挖掘 不同角度, 不同分类 挖掘的数据库类型 挖掘的技术手段 应用的领域 数据挖掘分类 分类－决策树 分类－决策树 聚类 聚类－kmeans聚类算法 （Which）在哪些方面进行挖掘 （When）什么时候开始数据挖掘？ （How）如何实施数据挖掘 CRISP－DM 成功的关键 建议 企业级数据仓库是挖掘分析的坚实基础 各级部门的充分重视，尤其是市场部的大力参与：最好有本地网市场部经理级别的参与 首先从与效益紧密相关的专题开始 先试点，后推广 建立核心队伍 在实施过程中不断整合业务流程:营销各环节的沟通、融合，营销执行力度的保障 推荐书籍 Data Mining - Concepts and Techniques J. Han and M. Kamber Morgan Kaufmann 数据挖掘概念与技术 张银奎 廖丽 宋俊 等 机械工业出版社 Principles of Data Mining David Hand,Heikki Mannila,Padhraic Smyth Massachusetts Institute of Technology 数据挖掘原理 张银奎 廖丽 宋俊 等 机械工业出版社 谢谢 携手共进，共同成功 携手共进，共同成功 携手共进，共同成功 携手共进，共同成功 携手共进，共同成功 携手共进，共同成功 携手共进，共同成功 携手共进，共同成功 携手共进，共同成功 携手共进，共同成功 谢谢！ NCR Confidential(未经NCR书面授权，不得将本文档中的任何部分以任何手段泄露给第三方) 时间：2006年6月30号 地点：德国柏林奥林匹克球场 人物：德国足球队阿根廷足球队 事件：2006世界杯四分之一决赛，点球决战，德国4：2阿根廷 Why? Which? When? How? What? 数据挖掘 描述 预测 统计回归 关联分析 决策树 聚类 时序分析 汇总 神经网络 分类 曾经欠费 租期3到4个月 月平均不同受话号码数=40 曾经投诉过 无 有 是 非 话费下降至1/3 是 非 Etc. 是 77%流失 是 非 非 Etc. Etc. Etc. Etc. 根据过去的数据预测将来要发生什么 问题描述：预测客户流失可能性 结果描述: 决策树 训练集 分类算法 IF rank = ‘professor’ OR years 6 THEN tenured = ‘yes’ 模型 模型 测试集 未知数据 (Jeff, Professor, 4) Tenured? 模型创建 模型评估及应用 输 入 流失概率 （0.95) 输 出 男 37 每月收入2000元 入网一年 月平均帐单300元 ………… 问题描述：预测客户流失可能性 结果描述: 神经网络 分类－神经网络 依赖变量 (因变量) 独立变量 (自变量) 量化多个变量之间关系的统计技术 回归 线性回归 Logistic回归 拟合一条穿过数据的线，线上的点使对应数据点的方差最小 回归－线性回归 与线形回归相似，它的依赖变量(因变量)不是连续的，而是离散的 回归－Logis