数据处理平台技术方案样本.doc

数据解决平台

技术方案

06月

目录TOC\o1-4\h\z\u

1. 项目阐明 1

1.1 背景 1

1.2 术语定义及阐明 1

2. 建设目的和原则 1

2.1 建设目的 1

2.1.1 建设和完善数据解决流程 1

2.1.2 建设和完善管理平台 1

2.1.3 建立良好容错机制 1

2.2 设计原则 2

2.2.1 可靠性 2

2.2.2 易用性 2

2.2.3 扩展性 2

3. 功能需求 2

3.1 需求概述 2

3.2 功能模块 3

3.2.1 数据收集 3

3.2.2 数据清洗 3

3.2.3 数据存储 3

3.2.4 对外输出 3

3.2.5 流程监控 3

3.2.6 管理平台 3

3.3 其她需求 4

3.3.1 性能需求 4

3.3.2 可靠性规定 4

3.3.3 进度筹划 4

3.3.4 故障解决规定 4

4. 方案总体设计 4

4.1 技术路线选取 4

4.2 总体架构 4

4.2.1 架构简介 5

4.2.2 数据解决流程 5

5. 安全设计 5

5.1 数据备份和恢复系统 5

5.2 管理层安全 5

项目阐明

背景

因项目数据拆分，***将要创立一套完备数据管理体系，替代原有数据解决方式。为顾客提供更高效、便捷服务。

术语定义及阐明

名称

解释

数据格式

对原始数据文献中数据格式定义，例如json、数组等

数据类型

原始数据类型，例如实况、指数等

文献类型

原始数据文献类型，例如.dat、.txt文献

建设目的和原则

建设目的

建设和完善数据解决流程

基于原有解决流程，采用新技术架构，重构既有解决平台，彻底解决既有平台问题。

建设和完善管理平台

建设和完善管理平台，可觉得运维人员提供更好维护管理工具，并且可以让管理员可以依照各种数据不同规定设立出适应数据解决规则。

建立良好容错机制

建立良好容错机制，设立更优数据解决规则，为数据解决提供优质服务。

设计原则

可靠性

随着系统建成，必然各平台之间信息传递对系统依赖限度将变得很高，系统失效所导致影响也就越大。因而，系统设计必要，从系统构造、技术办法、设备选型以及厂商技术服务和维修响应能力等方面综合考虑，以保证系统运营可靠性和稳定性。

易用性

咱们系统设计必要考虑到使用者和后来维护以便容易。因此，在系统设计中规定系统架构易于理解，系统管理以便简洁，系统维护自动容易。

扩展性

平台建设是一项长期工程，要充分考虑其将来潜在需求。科学设计思想应着眼于当前应用系统及既有技术，并考虑以最小代价来适应网络技术不断发展，使既有系统可以与需求同步增长，使系统在元数据不断增长基本上，维护者可以很以便扩充平台功能。

功能需求

需求概述

实现对不同来源各种数据类型文献进行收集、存储、到最后业务统一解决，实现数据实时对接，并具备扩展性。

1) 数据收集：

2) 数据整顿：

3) 数据存储：

4) 业务接口：

5)监控：

功能模块

数据收集

~~~~~~~~~~~

数据清洗

~~~~~~~~~~~~~

数据存储

经估算，每天数据约有9-10G，在如此数据量状况下，要对数据进行存储，同步应用缓存，提高输出效率。

对外输出

为保证原有外部顾客正常使用，数据输出与原有输出保持一致。

流程监控

针对整个流程进行数据监控监控原始数据站点缺失、监控非法数据。以便反馈给原始数据提供方，后期优化。

管理平台

管理平台需要有如下功能：

其她需求

性能需求

可靠性规定

进度筹划

待定

故障解决规定

软件故障：如操作系统死机、崩溃、数据库管理系统过载或其她因素崩溃，通过自动或手动重新启动系统解决，如重新启动不能解决问题，可以切换至备用服务器；

硬件故障：如硬盘故障，采用办法是定期进行数据库备份，一旦浮现硬件故障，可以使用备份文献恢复数据库。

方案总体设计

技术路线选取

总体架构

架构简介

数据解决流程

安全设计

数据备份和恢复系统

在安全建设中必不可少一种环节就是数据常规备份和历史保存。普通在生产本地备份目重要有两个：一是生产系统业务数据由于系统或人为误操作导致损坏或丢失后，可及时在生产本地实现数据恢复；另一种目是在发生地区性劫难（地震、火灾、机器毁坏等）时，可及时在本地或异地实现数据及整个系统劫难恢复。

管理层安全

网络安全架构最高层就是管理平台内部网进行操作、维护和到使用内部人员进行管理。对人员管理和安全制度制定与否有效，直接影响这一层安全问题。

制定顾客权限划分级别，不同权限人员，分管权限内功能等