系统设计说明书模版.doc

大数据ETL管理项目概要设计说明书 总 NUMPAGES 15页，第 PAGE 15页 概要设计说明书编写指南 总 NUMPAGES 8页，第 PAGE 1页 《大数据ETL管理项目》 概要设计说明书 二〇一六年八月 舜宇光学科技（集团）有限公司  目 录 目录  TOC \o 1-3 \h \z \u  HYPERLINK \l _Toc474310895 1. 概述  PAGEREF _Toc474310895 \h 2  HYPERLINK \l _Toc474310896 2. 系统简介  PAGEREF _Toc474310896 \h 2  HYPERLINK \l _Toc474310897 2.1 系统目标  PAGEREF _Toc474310897 \h 2  HYPERLINK \l _Toc474310898 2.2 系统设计原则  PAGEREF _Toc474310898 \h 3  HYPERLINK \l _Toc474310899 2.3 系统运行环境  PAGEREF _Toc474310899 \h 3  HYPERLINK \l _Toc474310900 3. 总体结构  PAGEREF _Toc474310900 \h 3  HYPERLINK \l _Toc474310901 4.系统模块设计  PAGEREF _Toc474310901 \h 5  HYPERLINK \l _Toc474310902 4.1子系统模块结构图  PAGEREF _Toc474310902 \h 5  HYPERLINK \l _Toc474310903 4.2子系统模块概要设计  PAGEREF _Toc474310903 \h 7  HYPERLINK \l _Toc474310904 5.数据库设计  PAGEREF _Toc474310904 \h 8  HYPERLINK \l _Toc474310905 5.1 同步配置表设计  PAGEREF _Toc474310905 \h 8  HYPERLINK \l _Toc474310906 5.2 统计分析结果表设计  PAGEREF _Toc474310906 \h 10  概述 系统简介 本系统有以下四大块：ORACLE-GP同步模块，HBASE-HIVE同步模块，HBASE-GP同步模块，数据定时抽取统计分析模块。 系统目标 随着集团信息化的发展，数据库种类也越来越多，有oracle、hbase、hive、greenplum等数据库，如何解决各个数据库之间数据同步交互，保障各种分析报表统计正确，成为了亟待解决的一个难题。本系统的设计就是为了解决各系统数据同步问题，以及抽取计算原始数据，保障分析报表平稳运行。 系统设计原则 根据用户需求，需要同步的数据具有时效性：有些数据可以每天同步，但有些数据必须每小时同步。这样，设计的同步方案需要对同步数据进行合理预估，保证数据在一个小时之内同步完成。 同时，数据定时抽取统计分析模块也要根据报表需求，在不同时间段进行抽取统计。 系统运行环境 硬件环境： 模块硬件配置（内存，硬盘）操作系统ORACLE-GP同步模块256G,13TCentos6.5HBASE-HIVE同步模块128G, 8Tcentos7HBASE-GP同步模块256G,13TCentos6.5抽取统计模块8G,200Gcentos7软件支持： 模块编程语言/工具命令运行平台ORACLE-GP同步模块bash，sqluldr2，gploadKETTLEHBASE-HIVE同步模块bash，pig，hdfsKETTLEHBASE-GP同步模块bash，pig，gploadKETTLE抽取统计模块java，sping定时器TOMCAT 总体结构 系统拓扑结构图，如下图，涉及到的同步有三个过程，即三个同步模块：ORACLE-GP同步模块，HBASE-HIVE同步模块，HBASE-GP同步模块。统计抽取模块会对oracle、mysql、hbase、hive、greenplum数据库进行数据抽取统计分析，并且将统计结果回传至oracle保存。 4.系统模块设计 4.1子系统模块结构图 4.1.1 ORACLE-GP同步模块 3.1.2 HBASE-HIVE同步模块 4.1.3 HBASE-GP同步模块 4.1.4抽取统计模块 4.2子系统模块概要设计