大数据量数据整合与查询性能优化.pdfVIP

大数据量数据整合与查询性能优化（IBM AIX 5.3 ） Jimmy(above@163.com) 大数据量数据整合与查询性能优化（修订） 赵坚密 （above@163.com ） 前言 本文适用操作系统平台为IBM AIX 5.3，也可用于一般UNIX 平台；数据库为IBM DB2，版本 9.1 文中引用了笔者在金宏工程外汇管理局整合数据库、统计分析系统和综合查询子系统的 开发经验。本文的题目就来自于这样一个背景，因为整合库系统是一个大数据量数据整合系 统，综合查询和统计分析系统是大数据量的查询系统，所以将本文命名为《大数据量数据整 合与查询性能优化》。本文只考虑单一节点的数据库，没有讨论数据库集群。 关于性能优化有两大目标：（1 ）如何充分调动系统资源；（2 ）采取何种方案使得达到某 一目的而消耗的系统资源最少。第一个目标是要提高系统资源利用率；第二个目标是要确保 对资源的利用是高效的。 硬件产品的升级非常快，商用服务器通常是多核，多硬盘的。现今，就连家用机也配备 了多核。如金宏工程采购的IBM 小型机，便是多核的，中等配臵为8CPU、32GB 内存，稍高 的配臵为16CPU，甚至更高。而硬盘则是RAID5 磁盘阵列，通常一台机器 10 块盘，或更多。 提高并行性便能很好的调动系统资源。通常从两个方面可以提高并行性：（1）几件事并 行的做；（2 ）一件事使用多个处理器来做。在系统设计时，对处理流程进行优化，让多个独 立的过程并行执行，从而占用多个处理器，提高处理器的利用率。在性能测试环境，或者生 产环境上需要调整系统或者应用的相关参数，使得一个过程也能占用多个处理器，进一步提 高处理器的利用率。 “消耗更少的系统资源，来完成相同的事情”是所有程序员追求的目标。为了完成这一 目标，程序员们不断优化自己的代码，甚至不惜彻底的改变程序的核心算法。 对于SQL 代码的优化，通常处于硬件、操作系统、数据库管理系统等优化之后。 为了更好的达到这一目标，通常要求程序员有很好的代码书写习惯，第一次就写出优良 的代码。优化时，只要考虑算法的优化即可。算法的优化也不是盲目的，通常针对那些“需 要优化的部分”来进行。“需要优化的部分”就是那些影响整体性能的，影响整体进度的， 处于“关键路径”上的过程。 代码和算法的优化也是性能优化的重要方面。但这个方面不是本文介绍的重点。 阅读说明 本文主要面向数据库设计和开发人员、部署人员和性能调优人员。 - 1 - 大数据量数据整合与查询性能优化（IBM AIX 5.3 ） Jimmy(above@163.com) 目录 前言 - 1 - 阅读说明 - 1 - 1 DB2 数据库基本概念 - 4 - 1.1 数据库对象 - 4 - 1.1.1 实例 - 5 - 1.1.2 数据库 - 5 - 1.1.3 节点组 - 5 - 1.1.4 表 - 5 - 1.1.5 视图 - 5 - 1.1.6 索引 - 5 - 1.1.7 模式 - 7 - 1.1.8 系统目录表 - 7 - 1.2 存储器对象 - 7 - 1.2.1 表空间 - 7 - 1.2.2 容器 - 9 - 1.2.3 缓冲池 - 9 - 2 表空间存储 - 10 - 2.1 AIX 系统存储管理简介 - 10 - 2.2 裸设备和文件系统 - 11 - 2.3 系统管理和数据库管理 - 12 - 2.4 如何合理创建表空间设备 - 13 - 2.4.1 原则 - 13 - 2.4.2 表空间容器的创建方法 - 13 - 2.4.3 整合数据库表空间设备情况 - 14 - 2.5