数据处理平台高可靠性的设计与实现.docVIP

数据处理平台高可靠性的设计与实现 数据处理平台高可靠性的设计与实现 中国建设银行股份有限公司信息技术管理部厦门开发中心林华兵 在多个业务处理系统的应用环境中,一般都会涉及 数据整合与数据集中处理的环节,通常在IT架构上会在 多个上下游系统之间搭建一个数据处理平台,用于处理 业务系统与下游的信息管理系统之问的数据加工需求, 这个系统会根据需要进行短期的数据存储.对涉及多业 务系统的企业,如银行,电信等,数据处理平台面对的 源和目标系统多,每日处理数据量都很大.同时,为了 适应管理与业务运营的需要,目标系统对供数的时间要 求严格,数据处理平台必须在规定的时间窗口内准确地 完成数据的转换和传输,以便支持下游系统正常运行, 在这种环境下,数据处理平台的高可靠性(HA,High Availability)具有至关重要的意义. 一 ,数据架构平台分析 以某大型国有银行为例,业务方面日常运行着贷 款,信用卡,数据仓库等多种应用,系统环境相对较 复杂,数据处理平台面对的源和目标系统数量超过f) 个,每日数据处理量达~I]TB级.相应地,目标系统对 数据处理的时间要求严格,若在规定的时间窗口内数据 未到达将直接影响次日的系统运营.为满足应用的需 求,该银行搭建了一个位于数据仓库前端的操作型数据 存储平台,实现每日业务系统到下游系统的数据加工, 并根据加工要求进行特定数据的短期存储.其主要功能 结构如图1所示. 图l中的各主要功能模块和数据存储层均有交互, 而相互间则通过事件通信和数据通信建立联系,是一种 基于消息和数据依赖的低耦合的架构.在物理分布上, 各个功能模块也是相互独立的,并支持通过存储共享的 38中国金融电脑/2010.11 图1数据存储平台功能结构 方式实现加工的横向扩展.基于数据处理的高可靠性需 求,结合我们的实践经验,本文从平台的分析和设计层 面入手,提出一种可行的数据处理平台的高可靠性实现 方法. 从容错角度看,系统可靠性实现手段包括硬件冗 余,软件冗余,信息冗佘和时问冗佘,而从容灾或故障 自动恢复的角度看,系统可靠性还包括有效的故障检测 和预警,发生故障时能自动或半自动地进行服务的重启 或平滑切换到备份的模块中.简而言之,实现数据处理 平台高可靠性的基本条件如下: (1)物理上,各模块所在的服务器具有备份机器; (2)具备故障汇报或心跳检测机制; (3)模块低耦合,模块故障可通过恢复脚本或程 序独立恢复; (4)错误发生时业务可以正确回退,应用可以通 过重新调度运行先前的任务. 在企业级系统架构中,为有效支持可靠性的实现, 除了满足功能需求外,在系统分析和软件设计阶段就必 须引入指标考量备功能模块的耦合度以及横向扩展性, 业务逻辑中断后的可持续性,区分系统可实现的可靠性 功能和应用实现的可靠性功能,同时在硬件资源方面争 取到合理的冗余以便支撑可靠性的实施. 在综合考虑了数据量和加工效率的基础上,该银行 的数据处理平台被设计为分布式的体系结构,各主要功能 模块相互独立,这为高可靠性奠定了逻辑基础.而主要 功能在物理部署上同样是分开的,并为各模块提供了备 份机器,这种部署则是高可靠性实现的物理基础,同时 这种分布还可以确保将故障缩小到易于控制的范围中. 二,架构的实现方法 考虑到该数据处理平台业务量持续增长的实际情 况,在设计了低耦合的逻辑结构和相互备份的物结构 后,在系统和数据库层面,我们提出以下策略以支持高 可靠性的实施:一是数据容灾和应用容灾相结合.该数 据处理平台是基于Oracle10g数据库的批处理系统,在 数据库级,系统采用定期在线增量备份和日志归档的策 略进行重要业务数据的备份,同时,为备份数据在异地 建立镜像,防止重大故障或灾难出现时本地备份失效. 在应用方面,则更多地通过削减模块功能依赖,增加备 份部署与故障检测等手段确保高可靠性.二是系统级 HA和应用级HA相结合.对于和外围系统关联的模块, 如文件接入服务,因传输时IP地址配置为绑定的方式, 我们采取系统级HA确保某一接入服务器故障时其IP地 址能被备份机器复用,确保该切换对外围系统的透明. 此外,采用系统HA的还有Oracle数据库服务,在数据文 件未被破坏的情况下,该HA可以确保某一数据库服务 失效时可以及时切换到备份的数据库副本上. 结合系统和数据库层面的可靠性策略,而在数据处 理平台的应用层面,我们进一步采片j以下结构和方法, 从业务的细粒度层面确保平台的可靠性. 1.分布式模块设计,粗粒度松耦合 该数据处理平台的各个主要模块,包括事件通汛, 作业调度,作业运行,数据传输等在功能上是相互独立 的,仅存在数据或消息耦合,当某个功能模块发生故 障时,其他模块的流程仍可持续;而在实际的物理部署 上,由于处理量大,各模块也采用了分布部署的模式, 可充分降低故