大数据分析平台技术要求.pdf

大数据平台技术要求 1. 技术构架需求 采用平台化策略， 全面建立先进、 安全、可靠、灵活、方便扩展、 便于部署、 操作简单、易于维护、互联互通、信息共享的软件。 技术构架的基本要求： 采用多层体系结构，应用软件系统具有相对的独立性，不依赖任何特定 的操作系统、特定的数据库系统、特定的中间件应用服务器和特定的硬 件环境，便于系统今后的在不同的系统平台、不同的硬件环境下安装、 部署、升级移植，保证系统具有一定的可伸缩性和可扩展性。 实现 B （浏览器）/A （应用服务器）/D （数据库服务器）应用模式。 采用平台化和构件化技术，实现系统能够根据需要方便地进行扩展。 2. 功能指标需求 2.1 基础平台 本项目的基础平台包括：元数据管理平台、数据交换平台、应用支撑平台。 按照 SOA的体系架构，实现对我校数据资源中心的服务化、 构件化、定制化管理。 2.1.1 元数据管理平台 根据我校的业务需求，制定统一的技术元数据和业务元数据标准，覆盖多种 来源统计数据采集、加工、清洗、加载、多维生成、分析利用、发布、归档等各 个环节，建立相应的管理维护机制，梳理并加载各种元数据。 具体实施内容包括： 根据业务特点，制定元数据标准，要满足元数据在口径、分类等方面的 历史变化。 支持对元数据的管理，包括：定义、添加、删除、查询和修改等操作， 支持对派生元数据的管理，如派生指标、代码重新组合等，对元数据管 理实行权限控制。 通过元数据，实现对各类业务数据的统一管理和利用，包括： 基础数据管理：建立各类业务数据与元数据的映射关系，实现统一 的数据查询、处理、报表管理。 ETL：通过元数据获取 ETL规则的描述信息，包括字段映射、数据转 换、数据转换、数据清洗、数据加载规则以及错误处理等。 数据仓库：利用元数据实现对数据仓库结构的描述， 包括仓库模式、 视图、维、层次结构维度描述、多维查询的描述、立方体（ CUBE） 的结构等。 元数据版本控制及追溯、操作日志管理。 2.1.2 数据交换平台 结合元数据管理模块并完成二次开发， 构建统一的数据交换平台。 实现统计 数据从一套表采集平台， 通过数据抽取、 清洗和转换等操作， 最终加载到数据仓 库中，完成整个数据交换过程的配置、管理和监控功能。 具体要求包括： 支持多种数据格式的数据交换， 如关系型数据库： MS-SQLServer、MYSQL、 Oracle 、DB2等；文件格式： DBF、Excel 、Txt 、Cvs 等。 支持数据交换规则的描述，包括字段映射、数据转换、数据转换、数据 清洗、数据加载规则以及错误处理等。 支持数据交换任务的发布与执行监控，如任务的执行计划制定、定期执 行、人工执行、结果反馈、异常监控。 支持增量抽取的处理方式，增量加载的处理方式； 支持元数据的管理，能提供动态的影响分析，能与前端报表系统结合， 分析报表到业务系统的血缘分析关系； 具有灵活的可编程性、模块化的设计能力，数据处理流程，客户自定义 脚本和函数等具备可重用性； 支持断点续传及异常数据审核、回滚等交换机制。 提供数据交换日志审计功能。 2.1.3 应用支撑平台 作为系统的支撑平台，需要支持如下功能： 用户及权限管理， 包括：用户及组织架构维护， 权限管理与分配等功能。 统一工作门户，包括：门户菜单、栏目管理与维护，门户展现、个性化 制定、单点登录等功能。 统一消息，要求提供通讯录管理，消息收发、状态监控等服务接口，支 持手机短