竞争情报数据挖掘资料.ppt

竞争情报分析技术 数据挖掘 * 竞争情报分析技术__数据挖掘 目录 Contents 1 2 3 4 5 数据挖掘的基本概况 数据挖掘的功能与流程 数据挖掘的方法 数据挖掘的应用 数据挖掘的研究现状以及研究热点 背景 Background 为什么会出现数据挖掘？ 数据爆炸性增长是数据挖掘技术应运而生的根本原因。 只见树木，不见森林(整体与局部) 计算复杂度 数据管理问题 数据类型的多样性 背景 Background 现实情况：人类积累的数据量以每月高于15%的速度增加，如果不借助强有力的挖掘工具，仅依靠人的能力来理解这些数据是不可能的。人们已经评估出世界上信息的数量每二十个月翻一番，并且数据库的数量与大小正在以更快的速度增长。(KB,MB,GB,TB) 数据爆炸，知识贫乏 著名的“啤酒尿布”案例：美国加州某个超级卖场通过数据挖掘发现，下班后前来购买婴儿尿布的男顾客大都购买啤酒。于是经理当机立断，重新布置货架，把啤酒类商品布置在婴儿尿布货架附近，并在二者之间放置佐酒食品，同时还把男士日常用品就近布置。这样，上述几种商品的销量大增。 实例 Examples 数据挖掘都干了些什么？ 英国电信需要发布一种新的产品，需要通过直邮的方式向客户推荐这种产品，数据挖掘使直邮的回应率提高了100％ 汇丰银行需要对不断增长的客户群进行分类，对每种产品找出最有价值的客户,通过数据挖掘使营销费用减少了30％ 美国税务局需要提高对纳税人的服务水平,通过数据挖掘合理安排税务官的工作，为纳税人提供更迅捷、更准确的服务 实例 Examples 美国国防财务部需要从每年上百万比的军火交易中发现可能存在的欺诈现象,通过数据挖掘发现了可能存在欺诈的交易，进行深入调查，节约了大量的调查成本 GUS日用品零售商店需要准确的预测未来的商品销售量，降低库存成本,通过数据挖掘的方法使库存成本比原来减少了3.8% 数据挖掘都干了些什么？ 实例 Examples 定义 Definition 技术角度的定义 数据挖掘是从大量的、不完全的、有噪声的、模糊的、随机的实际应用数据中，提取隐含在其中的、人们事先不知道的、但又是潜在有用的信息和知识的过程。 商业角度的定义 数据挖掘可以描述为:按企业既定业务目标，对大量的企业数据进行探索和分析，揭示隐藏的、未知的或验证己知的规律性，并进一步将其模型化的有效方法。 历史 History 进化阶段 商业问题 支持技术 技术特点 数据搜集 (60年代) 过去五年中我的总收入是多少？ 计算机、 磁带和磁盘 提供历史性的、静态的数据信息 数据访问 (80年代) 在新英格兰的分部去年三月的销售额是多少？ 关系数据库， 结构化查询语言，ODBC Oracle、Sybase、 IBM、Microsoft 在记录级提供历史性的、动态数据信息 数据仓库； 决策支持 (90年代) 在新英格兰的分部去年三月的销售额是多少？ 波士顿据此可得出什么结论？ 联机分析处理、多维数据库、 数据仓库 在各种层次上提供回溯的、动态的数 据信息 数据挖掘 （正在流行） 下个月波士顿的销售会怎么样？为什么？ 高级算法、 多处理器计算机、海量数据库 提供预测性的信息 数据挖掘的进化历程 相关学科 Related Discipline 数据挖掘 数据库技术 统计学 其它学科 信息科学 机器学习 可视化 人工智能 科学计算 数据挖掘是一个交叉学科领域，受多个学科影响 相关学科也是交叉学科 主要功能 Main Function 数据描述 偏差检测 估计与预测 分类 关联和序列发现 聚类 流程 Process 各步骤之间互相影响、反复调整，形成一个螺旋式上升过程。 课本P195-196： 案例 Cases 英国 Safeway 公司 商 业 理 解：大部分竞争对手的价格及产品范围等方面都势均力敌，因此他们意识到，必须将关注的焦点从产品与店面角度转换到顾客角度，以客户为向导。 数 据 理 解 、 准 备 与 建 模 ：给客户发会员卡，顾客利用该卡结账，将搜集的数据从主数据库里提取出来存储在数据仓库中。公司将客户直接分为 150 大类，再用关联规则技术比较数据集，再列出产品吸引力的清单。 评 估 与 发 展 ：通过不断的挖掘工作，Safeway 公司发现了一些对公司决策相当有用的信息。 Safeway 公司是一家年销量超过一百亿美金，旗下员工接近七万名的连锁超市，是英国第三大连锁超市。 戴智杰, 袁卫, 谢邦昌. 超市里的数据挖掘[J]. 中国统计, 2005 (5): 42-43. 案例 Cases 贝尔大西洋公司 贝尔大西洋公司是美国最大的电话公司之