数据仓库跟数据挖掘第节.pptVIP

什么是数据仓库（DW）？ ——是一种为信息分析提供了良好的基础并支 持管理决策活动的分析环境，是面向主题的、集成的、相对稳定的、随时 间变化的、分层次的多维的集成数据集合。 数据仓库的作用 两个主要作用 存储经过加工处理的决策需要的数据 – 存储数据的一种形式 – 加工和集成后的再存储 查询和决策分析的依据 – 为数据驱动型的决策支持提供数据基础 建立数据仓库的好处 更加高效的地制定决策 提供一个关于整个企业的整体构架 集中存放，方便存取，提高生产效率 减少重复数据处理和分析 提高用户对数据的应用程度 为商务流程再造提供支持 数据仓库的特点 面向主题 集成性 相对稳定(非易失) 时态性(反映时间变化) 3 初识数据挖掘 数据挖掘逐渐演变的过程： 机器学习成为人们关心的焦点。从范例出发 随着人工智能技术的形成和发展,人们的注意力转向知识工程，直接从计算机输入规则。从规则出发 80年代末出现一个新的术语，即数据库中的知识发现，简称KDD(Knowledge discovery in database)。从数据出发 数据仓库技术的发展与数据挖掘有着密切 的关系。促进，但不是先决条件！ 数据挖掘在商务智能中的位置 Increasing potential to support business decisions End User Business Analyst Data Analyst DBA Making Decisions Data Presentation Visualization Techniques Data Mining Information Discovery Data Exploration OLAP, MDA Statistical Analysis, Querying and Reporting Data Warehouses / Data Marts Data Sources Paper, Files, Information Providers, Database Systems, OLTP 什么是数据挖掘？ 数据挖掘（Data Mining，DM），又称数据库中的知识发现（Knowledge Discovery in Database，KDD）是从数据中识别出有效的、新颖的、潜在有用的，以及最终可理解的模式的非平凡过程。 数据挖掘 数据库技术 统计学 知识库 信息科学 机器学习 可视化技术 数据挖掘的过程 （1） 数据收集 （2） 数据预处理 （3） 数据挖掘 （4） 知识评价 数据挖掘系统结构 数据挖掘的任务 数据挖掘任务有两类：描述和预测 描述性挖掘任务刻划数据库 中数据的一般特性； 预测性数据挖掘任务在当前 数据上进行推断、预测 具体任务包括： 1) 分类 (Classification) 2) 回归 (Regression) 3) 聚类 (Clustering) 4) 关联分析(Association Analysis) 5) 时间序列分析(Time Series Analysis) 6) 偏差检测（Deviation Detection） 7）概念描述 （Concept Description） 分类 (Classification) 用于提取反映同类事物共同性质的特征型知识和不同事物之间的差异型特征知识。在数据挖掘中，分类模型通过对已知类别的个体进行归纳，找出各类别与个体的特征属性之间的关系，即分类模式。 例如：疾病诊断系统、高血压药物选择、电信客户流失。 训练集 应用决策树算法判断某人是否会购买计算机？ 算法输出 age? overcast student? credit rating? no yes fair excellent =30 40 no no yes yes yes 30..40 聚类 (Clustering) 是将一个群体分成多个类，使同类个体尽可能相似而不同类间个体差异尽可能大。 与分类的区别？ 例如：电信客户细分？ K-means算法的聚类过程 关联（association） 用于发现事物间的关联规则，或称相关程度。 关联规则： X Y ? Z [ s , c ] 例如：如果IBM的股票价格上升，有70%的可能微软的股票价格要下降；买榔头的人有40%同时买钉子。 例如：交叉销售。 回归 (Regression) 用属性的历史数据预测未来趋势。包括线性问题、非线性问题。 例如：工作与工龄的关系、机械系统故障的发生。 时间序列分析(Time Series Analysis) 用已有的数据序列预测未来。 回归模型不强