大型银行数据中心主机并行批量研究与实践研究.pdfVIP

目录 摘要…．．………．．．…．．…．．……………………………．．1 ABSTRACT………………………．…………………………2 第一章引言……………………………．．………………．．4 1．1研究背景……………………………………………．．4 1．2 研究内容……………………………………………．．4 1．3目的意义……………………………………………．．5 1．4论文的组织……………………………………………6 第二章大型商业银行数据中心技术环境介绍………………………7 2．1 主机硬件环境介绍………………………………………7 2．2 主机操作系统介绍………………………………………7 2．3 主机DB2数据库环境介绍…………………………………9 2．4主机自动排程(TWS)系统介绍……………………………11 第三章批量处理系统问题的提出……………………………．．14 3．1 批量处理系统介绍……………………………………．．14 3．2 银行数据中心批量系统基本架构…………………………．．15 3．3 数据大集中带来的批量处理系统的问题……………………．．16 第四章主机并行批量处理技术研究和实现……．…．．．……………18 4．1 批量处理特点对照分析…………………………………18 4．2 并行批量处理的核心思想………………………………．19 4．3 并行批量处理的逻辑结构………………………………．20 4．4 并行批量技术实现原理…………………………………21 4．5 技术难点研究………………………………………．．27 4．5．1不同批次之间的冲突问题………………………………．27 4．5．2数据库INDEX优化处理…………………………………28 4．5．3程序断点重提处理……………………………………29 4．5．4批量的效率问题……………………………………．．30 4．5．4．1批量程序CPU优化………………………………．30 4．5．4．2批量程序I／o优化………………………………．36 4．5．5批量自动化处理的实现…………………………………48 第五章主机并行批量项目投产实施．．…．………………………．53 5．1项目投产目标…………………………………………53 5．2项目实施……………………………………………．53 5．3项目投产效果…………………………………………55 第六章结论和展望……．…．…．．．．．．．…．．…………………．56 6．1结论………………．………………………………．．56 6．2展望……………………．…………………………．．56 参考文献………………．．．…．………………………．…．57 ㈣9㈣642㈣34＼Y1 论文独创性声明……………………………………………58 论文使用授权声明…………………………………………·59 致谢……………………………………………………60 Ⅱ 摘要 银行业信息化的飞速发展，已经成为推动金融业务创新、体制创新乃至企业 再造的重要推动力。而随着银行业数据集中的程度越来越高，由此带来的数据处 理方面的问题变得越来越突出。如何提高银行数据中心批量处理的效率，并有效 的控制批量处理差错风险，使之适应数据大集中后的业务需求，已成为数据中心 开展数据大集中工程中遇到的一个重大课题。 作者对主机批量处理效率问题以及批量自动排程技术做了大量的研究，分析 了工行数据中心的现状和批量处理需求，提出了可行的并行批量处理方法，设计 了并行批量处理的流程，并参与了并行批量处理项目的全过程。 在大量研究并行耦合体技术、DB2数据库共享技术、数据库表分区技术等理 论的基础上，结合数据中心批量处理、报表下传等业务特点，设计实现了主机并 行批量处理系统。该系统实现了： 1．并行批量处理功能。将基于数据库表的单批量单元处理转变为基于数据 库表分区的多批量单元并行处理，大大提高了批量处理效率。 2．批量自动化处理功能。采用批量自动排程工具，固化了多批量处理作业 单位的处