数据仓库与数据挖掘第四章数据仓库系统的体系结构与设计方法.pptVIP

* 转换器的设计与实现 转换器的功能： 数据结构转换和数据类型转换 结构化数据的转换: 非结构化数据的转换: 自动化或半自动化的转换器生成技术: 采用互操作性标准, 定义数据源与翻译器的接口 * 连续文件 王一落 1月-今 五华区1街2号 李二进 2月-今 盘龙区2街3号 张三丰 1月-2月 石林区4街6号 3月份顾客表 王一落 江南区9街7号 新的连续文件 王一落 1月-2月 五华区1街2号 王一落 3月-今 五华区1街2号 李二进 2月-今 盘龙区2街3号 张三丰 1月-2月 石林区4街6号 考虑出错情况 * 2005/1 距离近的客户的购买数量占绝大部分 住址离超市的远近程度 客户数量 购买总金额 近 100 10000 比较近 50 2500 比较远 20 200 远 5 50 * 2005/7 距离远的客户的购买数量占绝大部分 住址离超市的远近程度 客户数量 购买总金额 近 50 5000 比较近 50 2500 比较远 70 5200 远 5 50 * 23 东城区 ……. 23 东城区 ……. …… …… …… 29 西城区 ……. * 主键 新地址 旧地址 23 西城区 东城区 …… * 主键 客户ID 当前标记值 住址状况 日期 34 20 当前 东城区 2002/9/9 …… 主键 客户ID 当前标记值 住址状况 日期 23 20 以往 东城区 2002/1/1 ... 24 20 以往 东城区 2002/7/7 ... 25 20 以往 东城区 2002/9/9 … * 转换器的设计与实现 从数据源中提取数据并转换格式的过程：先将各类数据库系统中不同格式的数据转换成文本文件，然后再利用批拷贝命令将数据导入目标系统中。以使数据仓库获得新的数据提供决策分析使用。 * 转换器的设计与实现 数据准备区的使用：在将数据从源数据提取到数据准备区的过程中，可借助于Microsoft的数据转换服务（DTS）包来实现。 * 货运通知 海关 进出口许可证 海关申报单 电子发票 定单确认 税务 保险 银行 运输 * 源数据库、数据准备区和数据仓库之间的关系 源数据 数据准备区 数据仓库 DTS 三者关系图 * 任务集合的任务对象 任 务 对 象 描 述 ExecuteSQLTask 执行一条或多条SQL语句 DataPumpTask 从源数据拷贝数据并转换成目标数据 ActiveXScriptTask 执行ActiveX脚本 ExecuteProcessTask 执行一段外部程序 BulkInsertTask 执行批量插入操作 SendMailTask 使用SQL Mail发送电子邮件 DataDrivenQueryTask 在数据存储之间执行高级转换 TransferSQLServerObjectsTask 将SQL Server的数据对象转换 为其他对象 * 转换器的实现－转换器的流程图 创建数据准备区 N 开始 读元数据 检查数据准备区? 执行DTS包 更改元数据（时间，数据状态） 结束 成功 连接元数据库 创建DTS包 Y * 选择源数据的窗体 * 集成器的设计与实现 数据仓库初始化和目录管理 接收监控器的变化通告, 并将变化反映到数据仓库中 数据的存在方式与转换算法复杂 多视图合并和集成产生重复和不一致性 采用时态数据库的历史数据管理技术 * 集成器的设计与实现 统一数据编码：本系统中编码转换主要包括： 日期格式转换：Delphi中的FormatDateTime函数来统一日期格式。 测量单位的转换：数据仓库中对于数值型字段应保持一致的单位。在元数据库中创建表Units和UnitTypes来表示各种单位的换算关系。表UnitTypes记录了数据仓库系统中的单位类型， * 监控器的设计与实现 数据仓库提供的是离线数据, 与源数据存在时间差。 一致性程度： 完全一致 部分一致 不考虑一致性 数据源自治性程度和开放性程度： 全开放型 半开放型 全封闭型 * 监控器捕捉数据变化的途径 时标方法： DELTA文件： 映象文件： 日志文件： * 数据仓库的创建 * 创建星形模型向导 * 创建星形模型向导 * 第四章 数据仓库系统的体系结构与设计方法 数据仓库系统的体系结构 分布式对象技术 监控器的设计