大数据分析平台技术要求》.pdfVIP

大数据分析平台技术要求》

大数据分析平台技术要求

1.技术构架需求

为建立先进、安全、可靠、灵活、方便扩展、便于部署、

操作简单、易于维护、互联互通、信息共享的软件，采用平台

化策略。基本要求包括：

采用多层体系结构，应用软件系统具有相对的独立性，便

于系统今后的在不同的系统平台、不同的硬件环境下安装、部

署、升级移植，保证系统具有一定的可伸缩性和可扩展性。

实现B（浏览器）/A（应用服务器）/D（数据库服务器）

应用模式。

采用平台化和构件化技术，实现系统能够根据需要方便地

进行扩展。

2.功能指标需求

2.1基础平台

本项目的基础平台包括元数据管理平台、数据交换平台和

应用支撑平台，按照SOA的体系架构，实现对XX数据资源

中心的服务化、构件化、定制化管理。

2.1.1元数据管理平台

根据XX的业务需求，制定统一的技术元数据和业务元数

据标准，覆盖多种来源统计数据采集、加工、清洗、加载、多

维生成、分析利用、发布、归档等各个环节，建立相应的管理

维护机制，梳理并加载各种元数据。具体实施内容包括：

根据业务特点，制定元数据标准，要满足元数据在口径、

分类等方面的历史变化。

支持对元数据的管理，包括定义、添加、删除、查询和修

改等操作，支持对派生元数据的管理，如派生指标、代码重新

组合等，对元数据管理实行权限控制。

通过元数据，实现对各类业务数据的统一管理和利用，包

括：

基础数据管理：建立各类业务数据与元数据的映射关系，

实现统一的数据查询、处理、报表管理。

___：通过元数据获取ETL规则的描述信息，包括字段映

射、数据转换、数据清洗、数据加载规则以及错误处理等。

数据仓库：利用元数据实现对数据仓库结构的描述，包括

仓库模式、视图、维、层次结构维度描述、多维查询的描述、

立方体（CUBE）的结构等。

元数据版本控制及追溯、操作日志管理。

2.1.2数据交换平台

结合元数据管理模块并完成二次开发，构建统一的数据交

换平台。实现统计数据从一套表采集平台，通过数据抽取、清

洗和转换等操作，最终加载到数据仓库中，完成整个数据交换

过程的配置、管理和监控功能。具体要求包括：

理、数据收集、审核、报送等全过程的自动化管理。

支持多种数据源的接入，包括关系型数据库、文件格式等，

能够灵活地进行数据抽取、转换和加载。

支持数据交换规则的描述，包括字段映射、数据转换、数

据清洗、数据加载规则以及错误处理等，确保数据的准确性和

完整性。

支持定时任务的执行计划制定、定期执行、人工执行、结

果反馈、异常监控等功能，方便用户进行监控和管理。

具有灵活的可编程性、模块化的设计能力，能够支持数据

处理流程、客户自定义脚本和函数等具备可重用性。

支持断点续传及异常数据审核、回滚等交换机制，确保数

据的完整性和安全性。

2.1.3应用支撑平台

作为系统的支撑平台，需要支持用户及权限管理、统一工

作门户、统一消息、统一日志等功能，方便用户进行管理和监

控。

2.2主题集市管理子系统

主题集市的管理是业务数据采集、存储、查询、分析等一

切应用的基础，要求支持主题集市方便的复制、备份、调整，

并支持对集市描述信息的版本管控。同时，需要提供业务指标

的增删改操作、派生指标的设置与维护、指标审核关系的自由

设置等功能，以及图形化的报表表样配置工具和维度管理功能，

满足用户的需求。

本文介绍了一个数据管理系统的各个子系统，包括调查管

理、信息报送、数据资源管理、统计数据分析与应用。其中，

调查管理子系统提供了任务发布、信息报送、数据审核、归档

以及任务监控等功能；信息报送子系统基于信息报送平台，实

现了任务发布、信息报送、数据审核、信息归档、任务监控、

报送情况统计等功能。数据资源管理子系统建立了一个统一的

数据查询、处理、审核、统计等数据处理工作的平台，包括数

据库建设与管理、数据浏览与处理、查询统计等功能。统计数

据分析与应用子系统提供了多维数据在线分析功能，用户可以

根据不同的关注领域创建各种主题和立方体(CUBE)，灵活进

行报表、指