数据仓库与数据挖掘第一章分析报告.pptVIP

第1章 1.1 数据仓库的兴起 1.2 数据挖掘的兴起 1.3 数据仓库和数据挖掘的结合 1.1 数据仓库的兴起 1.1.1 从数据库到数据仓库 1.1.2 从OLTP到OLAP 1.1.3 数据字典与元数据 1.1.4 数据仓库的定义与特点 1.数据库用于事务处理 数据库作为数据资源用于管理业务中的事务处理。它已经成为了成熟的信息基础设施。 数据库中存放的数据基本上是保存当前数据，随着业务的变化随时在更新数据库中的数据。 不同的管理业务需要建立不同的数据库。例如，银行中储蓄业务、信用卡业务分别要建立储蓄数据库和信用卡数据库。 2.数据仓库用于决策分析 数据库用于事务处理，数据仓库用于决策分析 数据库保持事务处理的当前状态，数据仓库既保存过去的数据又保存当前的数据 数据仓库的数据是大量数据库的集成 对数据库的操作比较明确，操作数据量少。对数据仓库操作不明确，操作数据量大 3.数据库与数据仓库对比 1.1.2从OLTP到OLAP 1.联机事物处理（OLTP） 2.联机分析处理（OLAP） 3.OLTP与OLAP的对比 1.联机事物处理（OLTP） 联机事物处理（On Line Transaction Processing，OLTP）是在网络环境下的事务处理工作，以快速的响应和频繁的数据修改为特征，使用户利用数据库能够快速地处理具体的业务。 OLTP是用户的数据可以立即传送到计算中心进行处理，并在很短的时间内给出处理结果。也称为实时系统(Real time System)。 OLTP主要用于包括银行业、航空、邮购订单、超级市场和制造业等的输入数据和取回交易数据。如银行为分布在各地的自动取款机 (ATM)完成即时取款交易；机票预定系统能每秒处理的定票事务峰值可以达到20000个。 OLTP是事务处理从单机到网络环境地发展新阶段。 OLTP的特点在于事务处理量大，应用要求多个并行处理，事务处理内容比较简单且重复率高。 大量的数据操作主要涉及的是一些增加、删除、修改、查询等操作。每次操作的数据量不大且多为当前的数据。 OLTP处理的数据是高度结构化的，数据访问路径是已知的，至少是固定的。 OLTP面对的是事务处理操作人员和低层管理人员。 但是，为高层领导者提供决策分析时， OLTP则显得力不从心。 2.联机分析处理（OLAP） E.F.Codd认为决策分析需要对多个关系数据库共同进行大量的综合计算才能得到结果。 E.F.Codd在1993年提出了多维数据库和多维分析的概念，即联机分析处理（On Line Analytical Processing，OLAP）概念。 关系数据库是二维数据（平面），多维数据库是空间立体数据。 OLAP专门用于支持复杂的决策分析操作，侧重对分析人员和高层管理人员的决策支持， OLAP可以应分析人员的要求快速、灵活地进行大数据量的复杂处理，并且以一种直观易懂地形式将查询结果提供给决策制定人 OLAP软件，以它先进地分析功能和以多维形式提供数据的能力，正作为一种支持企业关键商业决策的解决方案而迅速崛起。 OLAP的基本思想是决策者从多方面和多角度以多维的形式来观察企业的状态和了解企业的变化。 3.OLTP与OLAP的对比 1.1.3 数据字典与元数据 1. 数据库的数据字典 2.数据仓库的元数据 1. 数据库的数据字典 数据字典是描述数据库中各类数据的集合，包括： (1) 数据项 (2) 数据结构 (3) 数据流 (4) 数据存储 (5) 处理过程 数据字典是数据库的元数据。 2.数据仓库的元数据 在数据仓库中引入了“元数据”的概念，它不仅仅是数据仓库的字典，而且还是数据仓库本身信息的数据。 元数据（metadata）定义为关于数据的数据（data about data），即元数据描述了数据仓库的数据和环境。 数据仓库的元数据除对数据仓库中数据的描述（数据仓库字典）外，还有以下三类元数据 ： (1) 关于数据源的元数据 (2) 关于抽取和转换的元数据 (3) 关于最终用户的元数据 1.2数据挖掘的兴起 1.2.1 从机器学习到数据挖掘 1.2.2 数据挖掘含义 1.2.3 数据挖掘与OLAP的比较 1.2.4 数据挖掘与统计学 1.2.1 从机器学习到数据挖掘 学习是人类具有的智能行为，主要在于获取知识。 机器学习是研究使计算机模拟或实现人类的学习行为，即让计算机通过算法自动获取知识。 机器学习是人工智能领域中的重要研究方向。 20世纪60年代开始了机器学习的研究。 (1) 1980年在美国召开了第一届国际机器学习研讨会； 明确了机器学习是人工智能的重要研究