数据处理平台技术方案.doc

. 资料. . 资料. 数据处理平台 技术方案 2016年06月 目录 TOC \o 1-4 \h \z \u 1. 项目说明 3 1.1 背景 3 1.2 术语定义及说明 3 2. 建设目标和原则 3 2.1 建设目标 3 2.1.1 建设和完善数据处理流程 3 2.1.2 建设和完善管理平台 3 2.1.3 建立良好的容错机制 3 2.2 设计原则 3 2.2.1 可靠性 3 2.2.2 易用性 3 2.2.3 扩展性 3 3. 功能需求 3 3.1 需求概述 3 3.2 功能模块 3 3.2.1 数据收集 3 3.2.2 数据清洗 3 3.2.3 数据存储 3 3.2.4 对外输出 3 3.2.5 流程监控 3 3.2.6 管理平台 3 3.3 其他需求 3 3.3.1 性能需求 3 3.3.2 可靠性要求 3 3.3.3 进度计划 3 3.3.4 故障处理要求 3 4. 方案总体设计 3 4.1 技术路线选择 3 4.2 总体架构 3 4.2.1 架构介绍 3 4.2.2 数据处理流程 3 5. 安全设计 3 5.1 数据的备份和恢复系统 3 5.2 管理层安全 3 . 资料. . 资料. 项目说明 背景 因项目数据拆分，***将要创建一套完备的数据管理体系，替换原有的数据处理方式。为用户提供更高效、便捷的服务。 术语定义及说明 名称 解释 数据格式 对原始数据文件中数据格式的定义，比如json、数组等 数据类型 原始数据的类型，比如实况、指数等 文件类型 原始数据的文件类型，比如.dat、.txt文件 建设目标和原则 建设目标 建设和完善数据处理流程 基于原有的处理流程，采用新技术架构， 重构现有处理平台，彻底解决现有平台的问题。 建设和完善管理平台 建设和完善管理平台，可以为运维人员提供更好的维护管理的工具，并且能够让管理员可以根据多种数据的不同要求设置出适应数据的处理规则。 建立良好的容错机制 建立良好的容错机制，设置更优的数据处理规则，为数据处理提供优质服务。 设计原则 可靠性 随着系统的建成，必然各平台之间的信息传递对系统的依赖程度将变得很高，系统失效所造成的影响也就越大。因此，系统的设计必须，从系统结构、技术措施、设备选型以及厂商的技术服务和维修响应能力等方面综合考虑，以确保系统运行的可靠性和稳定性。 易用性 我们系统设计必须考虑到使用者和以后的维护的方便容易。所以，在系统的设计中要求系统架构易于理解，系统管理方便简洁，系统维护自动容易。 扩展性 平台的建设是一项长期的工程，要充分考虑其将来潜在的需求。科学的设计思想应着眼于目前的应用系统及现有的技术，并考虑以最小的代价来适应网络技术不断的发展，使现有系统能够与需求同步增长，使系统在元数据不断增加的基础上，维护者能够很方便的扩充平台功能。 功能需求 需求概述 实现对不同来源的多种数据类型文件进行收集、存储、到最终业务的统一处理，实现数据实时对接，并具有扩展性。 1) 数据收集： 2) 数据整理： 3) 数据存储： 4) 业务接口： 5)监控： 功能模块 数据收集 ~~~~~~~~~~~ 数据清洗 ~~~~~~~~~~~~~ 数据存储 经估算，每天的数据约有9-10G，在如此