数据仓库、数据挖掘跟商业智能bi.pptVIP

数据仓库、数据挖掘与商业智能BI 同济大学 经济与管理学院 黄立平 教授 数据仓库DW和数据挖掘DM讲座内容简介 数据仓库和数据挖掘技术是近十年来，世界上广泛应用的信息技术之一。其主要作用是帮助企业有效地使用企业积累的大量数据；辅助管理层和决策层提高管理和决策的水平。 讲座的主要内容如下： 数据仓库概要； 数据仓库的工作原理； 联系分析处理OLAP； 数据挖掘概念、原由、发展； 数据挖掘的技术分类； 数据挖掘在电信行业的应用； 数据挖掘与知识管理； 数据挖掘国内应用存在的问题； 数据挖掘的未来发展。 前言 数据挖掘是近年来信息爆炸推动下的新兴产物，是从海量数据中提取有用知识的热门技术。 传统的信息系统，1990年代兴起的互连网技术及ERP系统在越来越廉价的存储设备配合下，产生了大量的数据。 与之相辅相成的数据分析和知识提取技术在相当长一段时间里没有大的进展，使得存储的大量原始数据没有被充分利用，转化成指导生产的“知识”，形成“数据的海洋，知识的荒漠”这样一种奇怪的现象。 数据库技术的发展 收集和数据库创建 ( 20世纪60年代以前 ) -原始文件处理 数据库管理系统(20世纪70年代) -层次、网状、关系数据库系统 -数据建模工具：实体-联系(E－R)模型等 -索引和数据组织技术 -查询语言:SQL 、用户界面:表单、报告等 -查询处理和查询优化、事务并发控制等 -联机事务处理(OLTP) 高级数据库系统 ( 1980年代中期—现在 ) -高级数据模型: 扩充关系、面向对象、对象-关系 -面向应用：空间的、时间的、多媒体的、主动的、科学的、知识库 数据仓库和数据挖掘 (1980年代后期—现在) -数据仓库和OLAP技术 -数据挖掘和知识发现 基于Web的数据库系统 (1990年代—现在) -基于XML的数据库系统 -Web 挖掘 数据库应用中存在的问题 “数据丰富，信息贫乏”。存储了大量数据的数据库变成了“数据坟墓”——难以再访问的数据档案； 在大型数据库中快速增长着海量数据，理解数据的含义已经远远超出了人的能力； 领导者的重要决策往往无法、及时获得信息，因为缺乏从海量数据中提取有价值知识的工具；若在当前运行的操作数据库中获取信息，则影响数据库的使用和性能。 海量数据要求强有力的数据分析工具 以前的专家系统依赖用户或某领域的专家人工地将知识输入知识库；这一过程常常有偏差和错误，并且耗时、费用高； 使用数据挖掘工具进行数据分析；可以发现重要的数据模式，对商务决策、知识库、科学和医学研究作出了巨大贡献； 数据和信息之间的差距，要求系统地开发数据挖掘工具，将沉寂的数据转换成宝贵的知识。 案例 “啤酒与尿布”是一个发生在Wal★Mart的关于数据挖掘的经典故事： 它告诉人们：可以利用手中大量似乎没有规律的数据,找出未知的规律； 沃尔玛有先进的卫星通讯网络—1983年开始，用巨资建立的卫星通讯网络系统使其供货系统更趋完美； 沃尔玛有完整的数据记录、存储和分析系统； 如何获得客户的销售记录?数据挖掘由什么人来实现?是否每时每刻都可以进行数据挖掘?是否每次都能挖掘出理想的结果? 我国在处理经济犯罪案件时，发现由于管理的落后以及数据分析应用技术的落后，不能及时发现问题…… 什么是数据仓库DW ( data warehouse )? 数据仓库可以看作是一种特殊的关系数据库。 DW是一个面向主题的、集成的、不更新的、随时间变化的数据集合，用于支持管理部门的决策过程”。 DWS允许将各种应用系统集成在一起为统一的历史数据分析提供坚实的平台，对信息处理、决策提供支持。 数据仓库的主要特征 面向主题的 ( subject – oriented ) : (1) 所谓主题（宏观领域），如顾客、供应商、产品和销售组织；是在高层次上将企业IS中的数据综合、归类并进行分析利用的抽象。面向主题，是指数据仓库内的信息是按主题进行组织的，为按决策的过程提供信息。 (2) DW关注决策者的数据建模与分析，而传统数据库是面向应用的，集中于组织机构的日常操作和事务处理。 (3) DW排除对于决策无用的数据，提供特定主题的简明视图。 (4) 传统数据库使用OLTP联机事务处理方式，进行数据组织时考虑记录每一笔业务的情况； 数据仓库使用OLAP联机分析处理方式，进行数据分析处理，以主题为单位组织数据，例如：供应商、商品、顾客等。 (5) 面向主题的数据组织方式要求将数据组织成主题域，各主题