商业银行数据服务平台功能优化项目_总体方案说明书.doc

商业银行数据服务平台功能优化项目实施 总体方案说明书 PAGE PAGE 1 商业银行股份有限公司 数据服务平台功能优化项目实施 总体方案说明书 2020年10月 目 录 TOC \o 1-7 \h \z \u 第1章 概述 2 1.1. 项目背景 2 1.2. 项目目标 2 1.3. 项目建设原则 3 第2章 总体架构方案 4 2.1. 规划蓝图 4 2.2. 统一命名规范 6 2.3. 本期项目总体架构 8 2.3.1. 逻辑架构 8 2.3.2. 数据架构 9 2.3.3. 技术架构 10 2.3.4. 物理架构 11 2.3.5. 运维架构 12 2.4. ODS模型方案 13 2.5. 统一调度监控方案 14 2.6. 统一数据交换 15 2.7. 历史数据存储方案 15 2.8. 备份与恢复设计 16  概述 项目背景 商业银行的数据服务平台上线已久。正在运行中数据服务平台，已经将商业银行综合业务系统等25个业务系统，近700多张表的重要业务数据进行了抽取和转换，并提供给上层应用。除现有已纳入的数据源之外，随着经营管理的需要，目前每个月底都有新数据源陆续增加到数据服务平台中。数据平台已经成为所有分析应用系统的基础，在众多的业务系统与分析系统间起到了重要的桥梁和纽带作用，为上层应用分析系统提供着源源不断的数据支持。 目前，随着数据平台上层分析应用系统项目的改造与新增，参与相关实施的项目组没有统一命名规范、开发规范，在投产和运行中时有，对系统的软硬件资源的争抢和阻塞冲突时有发生，且由于各项目组数据模型分层及命名不统一，造成日常运维及故障定位不便。 当前商业银行的数据标准与EDW咨询项目已经启动，在对全行业务系统数据梳理的同时，制定和规划着全行的数据标准以及企业级基础数据平台，EDW实施在即。着眼未来，现有数据平台的ODS在架构规划与功能定位上应结合数据标准与EDW 咨询项目，在统筹兼顾的前提下明确本项目的分工，保证本期项目的实施范围可控，共同从全行数据的加工、流转、存储、使用上考虑周全，进一步趋于合理化。这样既有利于现有上层应用分析系统持续提供服务，又有利于后期企业级基础数据平台的建设。 项目目标 针对目前数据服务平台ODS进行功能优化，实现以下目标： 结合数据标准与EDW咨询，在企业级基础数据平台架构下，配合稍后即将建设的EDW，保证现有数据平台之上的应用分析系统持续服务的前提下，规划ODS新架构、制定ODS统一命名规范、开发规范、测试规范、数据交换规范、历史数据存储规范，并逐步物理落地。 对ODS模型进行分层，新层次由ODS技术缓冲层、ODS基础层、ODS共性加工层、ODS应用集市层组成，使设计、开发、测试、数据使用、运维等过程的清晰明朗； 增加统一数据交换，减少数据重复抽取对源系统、网络、运维、存储的压力，减少重复开发，降低各系统间耦合度； 增加历史数据存储，改善目前应用系统，分析、设计、开发、测试阶段样本数据获取困难，以及系统出故障后长时间追数的现状； 改造统一调度监控，使之效率更高、操作更便捷，更人性化； 对现有系统进行整体优化，提高运行效率，使现有数据平台在优化改造后，现有应用分析系统可持续使用，与EDW及各应用分析系统在架构，数据的加工、流转、使用上合理融合，改善运维操作； 为EDW的实施及上线做好数据积累及投产后持续供数能力。 通过本项目方案的实施，最终实现灵活、高效的基础数据服务平台，最好的为业务人员提供完善的数据服务。 项目建设原则 本项目方案设计、建设原则将体现在规范性、开放性、先进性、实用性、可靠性、扩展性、安全性、软件开发管理八个方面，使得有限的资源以较有效的协作方式共同发挥效用。  总体架构方案 规划蓝图 本次优化综合数据平台问题现状，结合商业银行数据标准及EDW咨询项目，从企业级基础数据平台规划出发，本着想大做小的原则具体规划本次ODS优化的范围，以及后续部分的分步实施路线。此总体架构方案将由统一数据交换、通用文件传输、ODS、EDW、集成信息服务、历史数据存储、统一调度监控管理、统一数据管控8个部分组成。 统一数据交换 负责整个企业级基础数据平台内部、以及基础数据平台与其上、下游系统之间的数据传递交换，是基础数据平台对外数据交换的唯一出口；主要以数据文件形式为载体实现数据交换，也包括库对库的直接接入和接出；同时还会以数据文件形式保留近期的数据，并可以基于数据文件进行简单的加工；当数据以文件形式对外进行数据交换时，将通过通用文件传输子系统对外传输。 通用文件传输 负责整个基础数据平台对外进行文件型数据的传输，文件型数据统一将从统一数据交换的存储区经由通用文件传