第一节 数据仓库基本概念.pptVIP

1.2数据仓库基本特性 面向主题性 数据集成性 数据的时变性 数据的非易失性 面向主题性 面向主题性表示了数据仓库中数据组织的基本原则，数据仓库中的所有数据都是围绕着某一主题组织的。 确定主题以后，需要确定主题应该包含的数据。 不同的主题之间可能会出现相互重叠的信息。 主题在数据仓库中可以用多维数据库方式进行存储。 主题的划分中，必须保证每一个主题的独立性。 数据集成性 根据决策分析的要求，将分散于各处的源数据进行抽取、筛选、清理、综合等工作，最终集成到数据仓库中。 业务数据库1 业务数据库2 …… 业务数据库n 数据仓库 抽取转换清洗加载 数据的时变性 数据应该随着时间的推移而发生变化，不断地生成主题的新快照。 存量数据 T1时点增量数据 …… Tn时点增量数据 数据仓库 抽取转换清洗加载 初始主题数据 T1时点主题数据 …… Tn时点主题数据 数据的非易失性 数据的相对稳定性。 数据仓库中的数据只进行刷新，从不进行更新处理。 反映历史变化。 存量数据 T1时点增量数据 …… Tn时点增量数据 数据仓库 抽取转换清洗加载 初始主题数据 T1时点主题数据 …… Tn时点主题数据 时间戳锁定数据 讨论话题二 数据库和数据仓库有什么不同？ 数据库与数据仓库的对比 对比内容 数据库 数据仓库 数据内容 当前值 历史的、存档的、归纳的、计算的数据 数据目标 面向业务操作程序、重复处理 面向主题域、管理决策分析应用 数据特性 动态变化、按字段更新 静态、不能直接更新、只定时添加 数据结构 高度结构化、复杂、适合操作计算 简单、适合分析 使用频率 高 中到低 数据访问量 每个事务只访问少量记录 有的事务可能要访问大量记录 对响应时间的要求 以秒为单位计量 以秒、分钟、甚至小时为计量单位 1.3数据仓库体系结构 接 口 数据仓库管理环境 细节级数据 数据集市1 数据集市2 数据集市n … ETL逻辑 数据仓库组织与管理 数据利用 元数据(MetaData) 数据集市x 主题数据 ∑ 主题数据 ∑ 主题数据 ∑ 业务数据系统 市场调查信息 数据源 外部数据 … … OLAP DataMining Forecasting 应用环境 专家经验数据 1.3.1数据仓库的概念结构 从数据仓库的概念结构看，应该包含：数据源、数据准备区、数据仓库数据库、数据集市/知识挖掘库以及各种管理工具和应用工具。 数据集市/知识挖掘库 业务系统 外部数据源 数据准备区 数据仓库数据库 应用工具 管理工具 应用工具 数据集市/知识挖掘库 1.3.2数据集市结构 数据集市结构或称为主题结构的数据仓库是按照主题进行构思所形成的数据仓库，没有一个独立的数据仓库。系统的数据不存储在同一数据仓库中，每个主题有自己的物理存储区。 数据仓库查询管理服务器 业务系统数据库 主题1 主题2 1.3.3单一数据仓库结构 将所有的主题都集中到一个大型数据库中的体系结构。数据源中数据被按照同一标准抽取到独立的数据仓库中，用户在使用时再根据主题将数据仓库中的数据发布到数据集市中。 数据仓库查询管理服务器 业务系统数据库 数据仓库 数据集市1 数据集市2 1.3.4分布式数据仓库结构 在企业各个分公司具有相当大的独立性时，企业总部设置一个全局数据仓库，各个分公司设置各自的局部数据仓库。局部数据仓库主要存储各自的未经转换的细节数据，全局数据仓库中主要存储经过转换的综合数据。 站点A 站点B 总部 站点C 站点D