ODS和大数据量的设计.pptVIP

广东地税大集中工程新一代税收征管系统 ODS,大数据量设计汇报 2003-07-06 基本征管系统数据架构设计----数据存储类型分析 2003年6月4日* | * 广东地税、IBM、中软 ?大集中工程 “新一代”基本征管系统 ? 大集中工程 OLTP ODS DW 内容视图 单一视图，反映数据的一个维度，面向业务流程的处理 集成视图，反映数据的多个维度，面向查询、统计，报表生成 集成视图，反映数据的多个维度，面向查询、统计，报表生成 访问方式 实时访问 各种访问方式 (增、删、改、查) (准)实时访问 各种访问方式 (增、删、改、查) 非实时访问 主要是读操作 保存期限 短期历史数据 短期历史数据 长期历史数据 数据结构 范式化数据结构 范式化或非范式化的数据结构 非范式化的数据结构 基于数据库的数据存储的类型有三类： l?????? OLTP：在线交易类：考虑实时性能，尽量使用Insert操作，少用Update，避免Delete； l?????? ODS（Operational Data Store）：运作数据类，考虑数据吞吐量 l?????? DW：数据仓库类 三种数据存储类型的对比： 基本征管系统数据架构设计----ODS的引入 工作流类应用 事物处理类应用 简单查询/ 报表应用 实时/复杂报表应用 决策支持 应用 OLTP DB ODS Data Warehouse ETL 经过分析，基本征管系统同时需要三种类型的数据库: 一个是OLTP型的，保存/处理在线交易数据； 一个是ODS型的，保存/处理与大规模数据统计查询作业相关的数据； 一个是DW型的，保存长期的历史数据，用于决策支持/数据挖掘等用途。 本项目实现这2个数据库 基本征管系统数据架构设计----数据同步方式分析 OLTP数据库与ODS的数据同步方式有种： l?????? 同步写：征管应用系统在写OLTP数据库的同时更新ODS数据库； l?????? 异步写[消息方式]：征管应用系统在写OLTP数据库的同时发送消息，另外一个程序根据该消息更新ODS数据库； l?????? 异步写[数据库复制方式]：通过数据库复制实现； l?????? 批处理方式：通过批量更新的方式来更新ODS数据库； 四种数据同步方式的对比： 基本征管系统数据架构设计----结论 本质上，采用ODS实现查询和报表是一种空间换时间和性能的方式； ODS采用类似OLTP的数据库结构，但是需要进行适度的非范式处理； ODS最好与OLTP分开存储，使用不同的DB Instance，使用不同的IO带宽，安装在单独的服务器上； 使用ETL工具进行数据迁移; ODS OLTP DB 使用数据库复制或ETL工具进行数据迁移 大数据量的设计策略 我们所讲的“海量、高增长”数据，是指那些单表记录在100万条以后、或者增长特别频繁、对联机事务性能有很大影响的那些数据实体。 步骤： 1、从业务流程中分离出重要数据 2、从这些重要数据中筛选出“海量、高增长”的数据实体 3、对照其处理/使用这些实体的业务功能，对数据实体进行特点分析 4、按下节的归类建议，加以实施 几种典型数据表 几种典型数据表—纳税人（基本信息） 特点: 1、业务数据量大，增长少 2、查询频度高 3、分机构、个人纳税人 措施: 1、拆分为机构、个人两种表 2、为提供响应速度，纳税人信息可进一步拆分为基本信息、补充信息 3、针对数据量大，可根据纳税登记号或身份证Partition 2003年6月4日* | * 广东地税、IBM、中软 ?大集中工程