统一数据交换平台设计和实现.docVIP

统一数据交换平台设计和实现 　　摘要:目前,数据共享困难已成为银行系统所面临的一个重要问题。本文指出统一数据交换平台能解决在分布式与多应用系统环境下的数据交换问题。文中根据组件化设计原则,以完成系统的总体设计、数据存储和加工设计。并应用NAS存储、使用NFS共享等技术部署对ETL技术进行了研究。 　　关键词:统一数据交换 存储 ETL 　　中图分类号:TP311.13文献标识码:A文章编号:1006-8937(2009)03-0064-02 　　 　　在核心业务系统与外围系统之间批量交互数据是银行应用系统中最常见的任务之一,由于通常要受到多方面因素的制约,这是一个十分复杂而且耗费精力的工作。尽管目前银行正在进行综合业务系统大集中的改造,但并非所有银行的应用都会集中到唯一的核心业务系统上,而银行内还存在许多面向管理类的应用系统,这些围绕在核心业务系统的应用系统,我们称之为“外围系统”。 　　核心系统与外围系统的数据交换可以分为批量数据交换和实时数据交换两类。实时数据交换是双向的,一般由专门的中间件完成。批量数据交换也可能是双向的,但总体上是从核心系统流向外围系统的批量数据交换方式为主。从这一点来看核心系统是数据生产者,外围系统是数据消费者。外围系统之间也可以有批量数据交换和实时数据交换,因而互相扮演数据生产者和数据消费者的角色。 　　本文研究的是如何在中国建设银行总行实现统一的批量数据交换,从而建立统一数据交换平台(Unified Data Interchange Platform,以下简称UDI)。 　　 　　1应用技术现状与研究 　　 　　本文研究的重点之一是如何实现海量数据的加工,而且要在规定的时间窗口内完成指定的数据加工处理任务,否则,从业务角度看就是失败的。这一点的提出要求我们研究和应用先进的存储和计算技术,以及使用ETL技术对业务数据进行提取。 　　1.1网络存储的研究 　　早期的存储系统是计算机系统的一部分,大多以存储设备形式出现。随着网络的发展,数据的存储也逐渐由单机向多机方式和专用机发展,数据的共享与传递也逐渐从依赖主机系统向依赖网络系统发展。在大型企业应用和Internet发布系统中,安装数十台服务器已经很常见。但过于分散的数据资源,会给访问和管理带来困难。因此,数据存储问题备受关注。存储系统大致可以分成三种类型: 　　直接依附存储系统(Direct Attached Storage,DAS)又称为以服务器为中心的存储体系。其特征为存储设备是通用服务器的一部分。数据的输入/输出由服务器负责,数据访问与操作系统、文件系统和服务程序紧密相关。当用户数量增加或服务器正在提供服务时,响应会变慢。在网络带宽足够的情况下,服务器本身成为数据输入/输出的瓶颈。 　　网络依附存储系统(Network Attached Storage,NAS)这种存储方式多采用专用数据服务器。该服务器不再承担应用服务,称之为“瘦服务器”(Thin Server)。数据服务器通过局域网的接口与应用服务器连接。由于采用局域网上通用数据传输协议,如NFS,CIFS等,所以能够在异构的服务器间共享数据。NAS也是一种集中化数据存储形式,便于维护和管理。 　　存储区域网络(Storage Area Network)采用高速数据连接通道―光纤通道(Fiber Channel,FC)连接服务器和存储系统。从结构上看,服务器和数据存储系统相互独立。将设备连接到FC集线器或交换机上,便于扩展系统规模。FC的传输速率和可靠性极高,能够满足当前视/音频业务的需求。在SAN中,所有的存储设备和存储数据均可采用中心化管理,使得整个存储系统具有可伸缩性。并且,可以通过存储设备的集群方式而达到高可用度。 　　从软件角度看,NAS是应用与存储分离的系统,应用服务器通过局域网(LAN)访问文件存储系统,通常NAS以标准化访问协议(如NFS)提供服务;在SAN中,文件系统与存储系统完全分离,存储系统实际上成为运行应用程序服务器的设备,二者以高速FC连接。 　　1.2ETL技术的研究 　　企业的信息系统往往是一个由传统系统、不兼容数据源、数据库与应用所共同构成的复杂数据集合,各个部分之间不能彼此交流,这些数据的来源、格式不一样,导致了数据整合的难度,企业非常希望有一个全面的解决方案来解脱自己的困境,解决数据一致性与集成化问题,从而能够从所有传统环境与平台中采集数据,并利用一个单一解决方案对其进行高效的转换,这种解决方案就是ETL(Extraction,Transformation and Loading)。 　　从实际角度,ETL的使用包括数据抽取、数据传输、数据转换与清洗、数据加载、调度监控以及元数据管理等。 　　 　　2 平台的总