数据仓库2007课件.ppt

数据仓库和数据挖掘技术;教学方式与考核方式;教材与参考书;第一章 引 言; 传统的关系数据库可以回答这种类似问题吗？; 传统的关系数据库可以回答这种类似问题吗？;原因：数据库是针对操作型处理设计的;为完成决策者的询问，信息部门必须：抽取数据;问题1： 蜘蛛网式的拓展;问题2： 自然演化体系结构的问题;3）从数据到信息的不可行性 在自然演化体系结构中建立起来的系统对信息需求的支持是不充分的，原因是它们缺乏集成性、以及在分析性处理需要的时间上和在蜘蛛网环境中应用程序的可用时间期限上存在差异。;数据库方式;数据仓库的出现是为分析型处理;针对工商企业目前业务自动化设计;数据仓库还具有的特点： 1）将分散在各处不同性质的数据整合到单数据集合中 2）使用适合数据分析的结构来存储数据 3）包含由日常交易数据转换而来的数据，以供管理员决策分析 4）要能够及时从数据仓库中取得信息 5）数据仓库的数据在内部必须有一致性 6）用户可以对取得的分析数据做细分与比较 7）数据仓库系统必须包含易于使用的浏览工具 8）在数据仓库中的数据必须完整而且正确。;数据仓库的发展;数据仓库的发展;数据仓库的发展;数据仓库的我国的发展;数据仓库的我国的发展; 60年代，关系数据库之父E.F.Codd提出了关系模型，促进了联机事务处理(OLTP)的发展(数据以表格的形式而非文件方式存储)。1993年，E.F.Codd提出了OLAP概念，认为OLTP已不能满足终端用户对数据库查询分析的需要，SQL对大型数据库进行的简单查询也不能满足终端用户分析的要求。用户的决策分析需要对关系数据库进行大量计算才能得到结果，而查询的结果并不能满足决策者提出的需求。因此，E.F.Codd提出了多维数据库和多维分析的概念，即OLAP。;OLAP是独立于数据仓库的一种技术概念，基本思想是： 企业决策者应能灵活地操作企业的数据，以多维的形式从多方面和多角度来观察企业的状态并了解企业的变化。OLAP系统与数据源的数据存储相分离，只要提供足够的数据即可完成OLAP分析。;1、OLAP定义 定义1 ：OLAP(联机分析处理)是针对特定问题的联机数据访问和分析。通过对信息(维数据)的多种可能的观察形式进行快速、稳定一致和交互性的存取，允许管理决策人员对数据进行深入观察。 定义2 ：OLAP(联机分析处理) 是使分析人员、管理人员或执行人员能够从多种角度对从原始数据中转化出来的、能够真正为用户所理解的、并真实反映企业维特性的信息进行快速、一致、交互地存取，从而获得对数据的更深入了解的一类软件技术。(OLAP委员会的定义) OLAP的目标：是满足决策支持或多维环境特定的查询和报表需求，它的技术核心是“维”这个概念，因此OLAP也可以说是多维数据分析工具的集合。;;3、OLAP服务器类型;ROLAP优势 没有大小限制 现有的关系数据库的技术可以沿用. 可以通过SQL实现详细数据与概要数据的存储 现有关系型数据库已经对OLAP做了很多优化，包括并行存储、并行查询、并行数据管理、基于成本的查询优化、位图索引、SQL 的OLAP扩展等大大提高ROALP的速度;ROLAP缺点 一般比MOLAP响应速度慢 不支持有关预计算的读写操作 SQL无法完成部分计算 无法完成多行的计算 无法完成维之间的计算;5、维的概念：;时间;;;;分块(dice)： 地区=南京“” AND “广州” 产品“空调”AND “手机”;上卷（roll_up)： 按时间上卷到半年为单位;;6、数据仓库的粒度：反映数据的粗细程度;数据仓库的结构;三、数据挖掘; 若把大量的数据比做藏有金子的山，OLAP提供了在山中各处迅速地观察工具，它能让你迅速的到达你想到的地方。但不能告诉你是否此处有价值。如果山是巨大的，发现其中重要的有价值的位置本身是非常耗时的。;数据挖掘（Data mining ） 从大量的数据集合中的数据中提取有用的信息 ( 不平常的 ， 暗藏的， 先前未知的和很可能有用的 )。 ;数据挖掘的过程;数据仓库的投资回报率（ROI）; 能应用到商业过程中，对商业过程做完整的经济分析。这时的机构能在了解整个系统的基础上，而不是不完整的数据上做估计和决策。; IDC的研究结论认为：数据挖掘平均三年的ROI能达到401%,在被调查的企业中，有超过90%的企业的ROI超过了40%，50%的企业的ROI超过了160%，25%的企业的ROI超过了600%;数据挖掘的发展;数据挖掘的发展;四、数据仓库和数据挖掘产品;Business Objects 主要工具： 　　BusinessObjects　是集成查询，报表和分析功能的工具； 　　Webintellig