金融信息中心历史数据归档和管理平台建设项目技术方案.docVIP

中国人民银行 金融信息中心历史数据归档和管理平台项目技术方案（立项版） 撰写 审核 批准 中国人民银行科技司制 二О一О年 十二月 十六日 编 制 说 明 本文档在项目申报单位提交项目申报材料和业务需求书后，由项目开发/建设单位编写，并由科技司组织审核论证。审核通过后将作为项目立项和资金预算编制的依据，并为项目实施时制定详细的技术方案奠定基础。 一、技术方案（立项版）编写应遵循以下原则： 1.技术方案（立项版）依照总行两级数据中心的战略布局，遵循资源整合和数据集中的原则，根据人民银行信息化建设的实际情况制定。 2.技术方案（立项版）应结合人民银行已有系统，从架构的角度进行总体规划，尽量在现有系统框架内，通过调整、改造，新增子系统或模块的方式实现业务需求，推动系统整合和架构优化。 3.应统筹布局、调配软硬件资源，并统一搭建生产运行平台。 4.应提出项目拟采用的标准以及项目建设过程中相关的标准化需求。 二、此模板主要以应用系统开发类项目为例，为技术方案（立项版）的编制提供参考。其他工程类项目可根据实际需要，参考此模板自行编制。 目 录 1 .概述 4 2 .系统规划 5 2.1平台与其它系统的关系 5 2.2平台的定位 5 2.3 可行性分析 6 3 .系统技术方案 6 3.1平台设计思路 6 3.2数据量估算 7 3.3平台部署 8 3.4 数据分级存储方案 9 4 .产品调研 10 5 .系统软硬件需求 10 5.1 软件需求 10 5.2 硬件需求 11 6 .产品购买计划及部署规划 11 本技术方案讨论在面对人民银行信息系统数据量急剧增长的现状下，以数据生命周期管理的思想，利用适当的技术手段和工具，对国库类、货金类、多应用加载平台等基础生产系统的历史数据进行归档和管理，实现对数据从产生、在线使用、离线备用到失效销毁的完整的生命周期管理过程。 .概述 生产系统所承载数据量急剧增长，快速膨胀的数据量严峻考验了应用系统的负载能力，系统资源、运行效率都面临着越来越大的压力。 为实现对用户提供高可用性、连续性的信息系统要求，必须考虑异构环境下海量数据的归档和管理，探索集中模式下海量数据在跨平台、异构数据形态环境的归档管理方法。 面对信息管理的重要性日益显现的现实，在保证信息共享和安全的同时，如何减少数据冗余，加快信息的流转速度，提高处理效率和信息共享程度，是实现管理标准化和规范化的基础。 随着业务发展，为规范信息与数据的管理，降低成本，控制在线数据规模，保证应用系统健康高效运行，对应用系统各种信息与数据从创建到最终销毁的生命周期进行全程管理显得越来越迫切。 国库信息处理系统、货币发行管理信息系统、联网核查公民身份信息系统，等人民银行重要业务系统随着数据量的急剧增长，需要采用技术手段将历史数据从生产系统中抽取，并进行压缩归档。建立数据生命周期管理平台，既能满足业务部门对历史数据的查询请求，又能有效控制生产系统的数据规模，降低系统运行风险（图1）。 图1：数据生命周期管理平台与多系统的关系 在数据生命周期管理思想的驱动下，为有效管理国库信息处理系统（以下简称“TIPS”），信管中心编制《国库信息处理系统（TIPS）数据生命周期技术规范》（详见附件）。该规范刻画了国库交易数据的特征和对应的生命周期管理办法。 本文在规范的指导下，以TIPS系统为例建立历史数据归档管理平台，实现对TIPS系统数据抽取、归档、数据加工等工作。其他重要业务系统可以通过横向扩展该平台实现数据的生命周期管理目标。 .系统规划 2.1平台与其它系统的关系 历史数据归档管理平台建设定位在对生产系统数据的抽取，清理和归档作业。从系统定位的角度来看，历史数据管理平台具有长期保持、数据保真、控制生产系统数据增长等特点。 与数据备份的区别是数据备份是全部数据，而数据归档则不包含系统运行的过程性数据。数据备份需要通过在特定的数据库环境下恢复才能实现数据访问，而历史数据归档可以自行对数据进行归档和存储，提供近线的查询接口来实现对历史数据的访问。 与ODS的区别是，ODS主要功能是数据交换和报表；而历史数据归档管理平台主要是数据保持。ODS为数据仓库提供批量的数据传输，并不保存历史数据，也不对生产系统的数据进行清理工作，主要满足历史数据查询和审计的需要。历史数据归档管理平台与之不同，它侧重于将生产系统的数据定时抽取出来并原汁原味的转存到归档平台中。 与数据仓库的区别是，数据仓库是面向主题的数据组织，不包含明细到每笔交易的数据，其目的是为了决策和分析使用；而历史数据归档管理平台是需要把某一个时点的所有事实数据保存起来，为了查询和审计使用。历史数据归档管理平台对数据不进行重新组织，而数据仓库往往需要对数据进行重新组织以满足数据分析和挖掘等需要。 2