数据仓库和数据挖掘概述.pptVIP

宝山壁画 宝山壁画是引人注目的昂贵文物。此壁画发现于阿鲁科尔沁旗东沙布乡境内。1994年列为“全国十大考古新发现”之一。宝山壁画中最引人注目的是《杨贵妃教鹦鹉图》。该画高0.7米、宽2.3米，用于笔重彩绘制，最突出的表现了 晚唐风格。唐代擅长绘贵妇仕女的大师周昉绘制了《杨贵妃教鹦鹉图》，不仅享誉中原，而且还影响全国各地。发现于阿旗宝山古墓里的这幅画，就是契丹人聘请中原画家按照周氏风格绘制的， 技法深得周氏画风的真传。在唐人真迹稀如星风的今天，能够从中完整了解唐代人物画的杰出成就，堪称美术史研究的辛事。这幅壁画现今保存在阿鲁科尔沁旗博物馆，历经千年，恍如新绘，是该馆的镇馆之宝。 欢迎大家观看！ * 来自www.K的调查结果显示:在“你最常用哪种数据挖掘工具”投票调查中，Clementine连续数年位居第一。 * （怎么来的）跨行业数据挖掘标准 * User Interface * Can grab data from many different sources and load it into any number of other sources, and perform complex transformations in between 为本次数据挖掘 ETL 操作包括字段。记录 操作 文件操作 * * * 银行信用卡 欺诈 反洗钱 （噪音） OLAP（On-Line Analytical Processing） 商务智能的直接数据来源？ OLTP? 数据仓库？ 多维数据集? 什么是多维数据集？ “多维数据集是一种结构，包含了一个或多个度量。这些度量用于所有维度的成员的每个唯一组合。” OLAP专门用于支持复杂的决策分析操作，侧重对分析人员和高层管理人员的决策支持， OLAP可以应分析人员的要求快速、灵活地进行大数据量的复杂处理，并且以一种直观易懂地形式将查询结果提供给决策制定人 OLAP软件，以它先进地分析功能和以多维形式提供数据的能力，正作为一种支持企业关键商业决策的解决方案而迅速崛起。 OLAP的基本思想是决策者从多方面和多角度以多维的形式来观察企业的状态和了解企业的变化。 3.OLTP与OLAP的对比 OLTP OLAP 细节性数据 综合性数据 当前数据 历史数据 经常更新 不更新，但周期性刷新 一次性处理的数据量小 一次处理的数据量大 对响应时间要求高 响应时间合理 面向应用，事务驱动 面向分析，分析驱动 1.2数据挖掘的兴起 1.2.1 从机器学习到数据挖掘 1.2.2 数据挖掘含义 1.2.3 数据挖掘与OLAP的比较 1.2.4 数据挖掘与统计学 1.2.1 从机器学习到数据挖掘 学习是人类具有的智能行为，主要在于获取知识。 机器学习是研究使计算机模拟或实现人类的学习行为，即让计算机通过算法自动获取知识。 机器学习是人工智能领域中的重要研究方向。 20世纪60年代开始了机器学习的研究。 (1) 1980年在美国召开了第一届国际机器学习研讨会； 明确了机器学习是人工智能的重要研究方向 (2) 1989年8月于美国底特律市召开的第一届知识发现（KDD）国 际学术会议； 首次提出知识发现概念 (3) 1995年在加拿大召开了第一届知识发现和数据挖掘（DM）国际学术会议； 首次提出数据挖掘概念 (4) 我国于1987年召开了第一届全国机器学习研讨会。 1.2.2数据挖掘含义 知识发现（KDD）：从数据中发现有用知识的整个过程。 数据挖掘（DM） ：KDD过程中的一个特定步骤，它用专门算 法从数据中抽取知识。 如在人类数据库中挖掘知识为： （头发=黑色）∨（眼睛=黑色）→亚洲人 该知识覆盖了所有亚州人的记录。 数据挖掘做什么？ 预测未来发生的事情(分类与回归) 将人或事物按照属性聚类 关联可能一起发生的事件（购物篮） 确定事件发生的序列（股票涨落） 异常检测 数据挖掘 啤酒与尿布的故事： 在一家超市里，有一个有趣的现象：尿布和啤酒赫然摆在一起出售，但是这个奇怪的举措却使尿布和啤酒的销量双双增加了。 原来，美国的妇女们经常会嘱咐她们的丈夫下班以后要为孩子买尿布。而丈夫在买完尿布之后又要顺手买回自己爱喝的啤酒，因此啤酒和尿布在一起购买的机会还是很多的。 1.2.3数据挖掘与OLAP的比较 1. OLAP的多维分析 OLAP的典型应用，通过商业活动变化的查询发现的问题，经过追踪查询找出问题出现的原因，达到辅助决策的作用。 2. 数据挖掘 数据挖掘任务