大数据量报表展现系统建设方案-22页.doc

大数据量报表展现系统开发方案 ----三期延续开发 一、目标与需求 该系统提出将信息中心建设成为数据集散中心、报表处理中心和决策辅助支持中心，成为信息资源管理体系的中心和枢纽。将分散在各个业务处理系统中的数据归集起来，为各级机构提供数据提取和查询服务；开发管理信息平台系统，实现综合查询与分析，实现综统报表、监管报表、业务报表等统计信息的共享，建立联动查询统计。 依据总体规划，借鉴经验，广泛征求意见后，提出立项开发数据分析系统，拟实现下列目标： 1、进一步的完善业务信息库，通过建立逻辑数据模型，按主题整合业务数据，并建立适合各类专题分析需要的数据集市，形成企业级中央数据仓库，以中央数据仓库为纽带完成业务数据向管理信息的过渡； 2、“工预善其事，必先利其器”，引进ETL、前端信息展现工具、系统集成门户等先进的数据仓库和商业智能解决方案，进一步完善管理信息平台技术架构，实现对数据的深层次挖掘，为各级信息使用者提供先进适用的分析管理工具，为管理部门提供个性化纯WEB信息展示平台； 3、优化全报表生成、报送、管理和使用体系，凡是数据仓库可以生成的报表由系统自动生成，实现资产负债分析、经营业绩分析、客户分析、风险分析和财务分析五个方面的专题统计分析，并为将来引进决策分析模型进行决策支持奠定基础。 鉴于在项目整体开发阶段由于企业的自身业务调整和变化，特别是对前期调研所拟定的业务蓝图及相关开发计划进行了范围扩大的调整。导致前两期项目开发工作只完成其中一部分，在甲方的要求下此项目增加的开发范围作为三期工程（不排除报表业务继续扩大，项目需求继续扩大的可能），同时沿用此方案并需达到此方案中既定的目标来完成项目整体，且此项目需在本期结束后进入维护期。 二、应用范围 针对用户的不同级别，分别满足业务人员、管理人员、高级管理人员以及决策者对信息的不同要求。 打破关系型数据库理论中标准泛式的约束，将数据库的数据重新组织和整理，为查询，报表，联机分析等提供数据支持。数据仓库建立起来后，定期的数据装载(ETL)成为数据仓库系统一个主要的日常工作。 积累了大量原始数据这些数据是按照关系型结构存储，在更新，删除，有效存储(少冗余数据)方面表现出色，但在复杂查询方面效率却十分低下。为充分利用已有数据，提供复杂查询，提供更好的决策支持，数据仓库(Data Warehouse)。数据仓库与数据库(这里的数据库指关系型数据库)的区别在于，数据仓库以方便查询(主题)为目的，打破关系型数据库理论中标准泛式的约束，将数据库的数据重新组织和整理，为查询，报表，联机分析等提供数据支持 中央数据仓库(DM)存放从各个数据源抽取的数据，是经过转换后的细节数据。 数据集市（DM)存放的是面向业务应用宏观的汇总数据, 基于实用化和运行效率的考虑，数据集市ETL采用数据库存储过程来实现。 多维模型（MDB)是将数据数据集市中的数据加载到 OLAP SERVER中,为多维分析提供数据。 2、逻辑数据模型 逻辑数据模型LDM 是信息平台/数据仓库体系结构的基础。根据管理信息平台的建设目标和建设原则，结合本项目的具体特点确定以下数据模型的设计原则：数据模型的设计既要满足本项目的业务需求，同时要充分考虑未来业务发展的需要，也就是说，数据模型应具有较强的扩展性；数据模型的设计应充分考虑最终用户的查询/分析效率和数据抽取、转换和加载的速度，保证系统具有较高的运行效率；数据模型的设计应充分考虑当今数据库技术和数据建模技术的发展动态，保证数据模型的设计方法、设计过程、设计结果的科学性和先进性；数据模型的设计应具有较强的可读性，数据模型应便于业务人员和技术人员理解，项目投入运行后，数据模型便于技术人员维护。 中央数据仓库存储所有最详细的业务数据，数据的组织方式依关系型数据库的第三范式规则。数据仓库逻辑数据模型主要包括六个主题域： 客户、产品、帐户、交易、渠道和机构。 3、数据集市模型 根据业务需求将中央数据仓库数据分类成几个不同的数据集市，每个数据集市完成不同的分析和查询需求，数据集市中的数据通常由中央数据仓库的数据聚合而来，根据数据聚合程度的不同包含轻度聚合、中度聚合和高度聚合三种不同的层次。汇总的方式将依据数据量的大小和使用频率综合考虑 。 4、数据仓库ETL的设计 ETL指源系统数据经过数据抽取、转换和加载处理进入数据仓库的整个过程。ETL流程主要包括以下主要步骤： 数据抽取：数据抽取就是将数据仓库需要的业务数据抽取到数据转换区的过程； 数据检查和出错处理：在数据转换区中，对源系统数据质量进行检查，形成检查报告，并进行相应的出错处理，对于严重错误，需要系统维护人员现场做出相应的处理。 数据转换：数据转换包括对源系统数据进行整理、剔除、合并、验证等一系列转换工作，最后形成数据仓库物理数据