银行数据仓库系统高层架构工程设计书.docVIP

银行数据仓库系统高层架构工程设计书 背景 “浙商银行股份有限公司”，英文全称为“CHINA ZHESHANG BANK CO., LTD.”，英文简称“CZB”。注册资本150073万元，总行设在杭州。2004年8月18日浙商银行正式开业。目前浙商银行有宁波、温州等2家分行，余杭 萧山 宁波鄞州等支行，业务正处于增长期。 浙商银行的成立，既是浙江经济实力的综合反映，也是浙江经济发展的客观要求。作为浙商的传人，作为一家以民营资本为主体的新兴股份制商业银行，浙商银行将立足浙江，面向全国，恪守信用，合法经营，以安全为前提，以客户为中心，以发展为主线，以效益为准则，以回报社会、股东和员工为目标，树立规模、安全、效益三者有机统一，全面、协调、可持续的科学发展观，营造特色，培育优势，优质、高效地服务于经济，服务于企业，服务于公众，共同创造社会财富，逐步建设成为经营有方、富有特色、业绩优良、具有一定国际影响的国内一流商业银行。 企业数据仓库系统是以业务支撑应用系统的数据以及其他相关数据作为基础数据源，采用科学的数据抽取、整理、存储等方法，建立企业级数据仓库；然后通过丰富的数据分析和挖掘方法找出这些数据内部蕴藏的大量有用信息，对客户、业务、市场、收益、服务、等各方面情况进行科学的分析，从而为市场决策管理者和市场经营工作提供及时、准确、科学的辅助决策依据。 目前已经有许多，但是各个系统相对独立，信息共享困难，对数据进行深入分析和挖掘，无法高层管理和决策提供强有力的依据。充分利用支撑系统产生的大量宝贵信息资源，，更好地适应日趋激烈的市场竞争环境目的 对象 范围 叁考文档 概念性体系构架 IBM 概念性应用体系架构叙述了将要用于此方案的应用程序及主要组成成分。 这个图表提供IBM参考体系架构的概要版本，这是专为非科技业务人员所备的。它使用了许多业务人员所熟知的术语。 数据源数据来源层标识了公司内外所有有效的数据源。 参考体系架构 这是IBM用来描述商业智能环境的主要参考体系架构。它是为科技人员或具有深厚科技背景的商业用户所准备的。 为保证每一层易于理解，IBM区分了各层的差异并加入必要的细节，使得此参考体系结构成为概念性体系结构的拓展。技术体系架构 如上图所示，整个数据仓库在技术上大概可以分为5个主要的模块，它们分别是： 源数据和数据接口 数据架构 ETL处理和控制 应用架构 软硬件架构 在接下来的小节中我们将分别对这5个主要的模块进行详细的描述。 源数据和数据接口 数据接口架构描述了数据从数据源到到数据仓库过程中所遵循的规范和架构，如下图所示： 数据源 数据仓库系统将采用文本文件的方式从源系统获取数据。每个源系统会就与EDW之间就传输数据接口文件（IFF）的格式和方法制定标准，称之为接口规范。 每个数据源会首先通过各自的数据导出程序（Extractor）生成接口文件存储在各自的文件缓冲区内。这个Extractor负责各自范围内导出数据的完备性和一致性，包括： 依照各自的业务规则确定增量数据的导出方法 保证导出文件的格式符合接口规范的要求 保证导出文件的传输时间的及时性 保证接口文件的数据质量，不错数、不丢数、不多数 数据源范围 在编写本文档的时候，总共有5个系统的数据被确定在范围之内。以下表格概述了将要实施的每一个数据源（用于数据初始加载、数据增量加载或两者均可）的阶段。 阶段 系统名称 数据源类型 第1阶段 核心业务系统 DB2 信贷系统 DB2 资金交易系统 SQL Server 第2阶段 财务系统 国际结算系统 在选择使用哪个数据源系统来满足数据要求上，数据很可能地来源于一个或多个数据源系统。介于此原因，必须为物理模型的所有数据表选择一个记录系统。当有多个可供选择的数据源时，在选择数据源上必须遵循以下设计原则： 1如果有可能就使用最原始的数据来源，不要使用副本或复制本 2源数据系统数据应该是完整的。 3源数据系统数据应该是最新的。 4源数据系统数据应该是高质量的。 文件缓冲区 文件缓冲区是一块在数据仓库之外的存储区域，它是接口文件的暂存地，可以是在每个源系统上，也可是在独立的接口机上。接口文件先放到文件缓冲区，然后在到数据仓库的接口文件区。 此区域不属于数据仓库范围，相应的其存储空间的分配和维护也不属于数据仓库项目范围。 接口文件区 接口文件区是数据仓库架构内存放接口文件和对接口文件进行处理的地方。数据仓库中的ETL程序负责维护此区域。 为了合理的组织接口文件区的内容，我们把接口文件区按如下目录结构组织，假设${IFF_Home}代表接口文件区根目录（IFS：Interface File Staging）： 目录 内容 ${IFF_Home}\inb 所有源系统传过来的接口文件 ${IFF_Hom