海量数据查询优化算法研究.docVIP

海量数据查询优化算法研究 　　摘 要：当前，越来越多的业务部门都需要操作海量数据，如规划部门的规划数据，水利部门的水文、水利数据，气象部门的气象数据，这些部门处理的数据量通常都非常大。它包括各种空间数据、报表统计数据、文字、声音、图像、超文本等各种环境和文化数据信息。我们需要从大规模的、没有关系的数据中，在存储、管理、处理、优化等各个环节中注重效率，并提取出所需要的信息。海量数据存储管理在各行业的信息化过程中很重要，受到广泛的关注。本文综述了海量存储管理技术的研究及应用现状，以及结合大型收费系统同，介绍了一些关键的优化技术，包括数据库的存储，数据的管理，SQL语句，页面分割等，最后，结合当前海量数据存储管理技术，指出了海量数据存储管理面临的一些新的发展方向。 　　关键词：海量数据；优化；SQL 　　中图分类号：TP301.6 　　1 海量数据概述 　　随着信息社会的发展，伴随着Internet的发展，数据呈爆炸式增长。随着数字图书馆、电子商务、多媒体传输等用的不断发展，数据从GB、TB到PB量级海量急速增长。存储产品已不再是附属于服务器的辅助设备，而成为互联网中最主要的花费所在。海量存储技术已成为继计算机浪潮和互联网浪潮之后的第三次浪潮，磁盘阵列与网络存储成为先锋。 　　1.1 海量数据的定义。海量存储的含义在于，其在数据存储中的容量增长是没有止境的。因此，用户需要不断地扩张存储空间。但是，存储容量的增长往往同存储性能并不成正比。这也就造成了数据存储上的误区和障碍。 　　1.2 海量数据的特点。（1）用户群体大，增长速度快。（2）数据总量大，增长速度快。（3）数据类型多样，大小不一。（4）数据操作模式较为固定，一致性要求较弱。 　　2 海量数据的存储 　　无论在任何行业，当数据量特别大时，我们在处理和应用时都会受到影响，甚至导致死机等严重现象，所以海量数据的存储在整个行业发展中所处的地位也越来越重要，包括存储设备、存储方式、存储系统等也都有了很大的变化。 　　2.1 传统型的关系型数据存储技术。传统关系型数据库在数据存储管理的发展史上是一个重要的里程碑。在互联网时代以前，数据的存储管理应用主要集中在金融、证券等商务领域中。这类应用主要面向结构化数据，聚焦于便捷的数据查询分析能力、严格的事务处理能力、多用户并发访问能力以及数据安全性的保证。而传统关系型数据库正是针对这种需求而设计，并以其结构化的数据组织形式，严格的一致性模型，简单便捷的查询语言，强大的数据分析能力以及较高的程序与数据独立性等优点被广泛应用。 　　2.2 新兴数据存储系统。在传统关系型数据库已不能满足互联网应用需求的情况下，开始出现一些针对结构化、半结构化甚至非结构化数据的管理系统。按照数据管理方式划分，这些新兴的数据管理系统可以归为两大类：（1）集中式数据管理系统。这类系统采用传统的server farm架构。整个系统需要一个主控节点维护各从节点的元信息，是一种集中控制的管理手段。（2）非集中式数据管理系统。系统中各节点无主从之分，各节点通过相应的通信机制相互感知，自我管理性较强。 　　2.3 网络存储技术。在存储技术的地位越来越重要的今天，存储设备已经由单一的磁盘、磁带转向磁盘阵列，进而发展到当前日益流行的存储网络，如DAS、NAS、SAN和iSC2SI等。大规模的数据应用需求不断涌现，使得海量数据存储及其应用也成为一个新的发展方向。（1）直接连接存储。DAS（Direct Attached Storage，直接连接存储、又称BAS（Bus Access Storage。在这种方式中，存储设备是通过电缆直接连接至一台服务器上，I/O请求直接发送到存储设备。（2）网络连接存储。NAS（NetworkAttachedStorage，网络连接存储、是一种文件共享服务。它拥有自己的文件系统，通过NFS或CIFS对外提供文件访问服务。（3）存储区域网络。SAN（StorageAreaNetwork，存储区域网络）经历了十多年历史的发展，已相当成熟。SAN是存储设备与服务器经由高速网络设备连接而形成的存储专用网络，它类似于普通局域网的高速存储网络，是一个独立的、专门用于数据存取的局域网。 　　3 海量数据的优化 　　以已存在的房屋收费数据库为例进行研究测试。该数据库明细表记录以月为单位，每月每户至少2条记录，收费户数不小于20万，即如果有3年的记录，数据规模将达到千万以上。拟采用以下方案进行优化： 　　3.1 选用优秀的软、硬件系统。在软件方面，海量数据的处理对所使用的数据库工具要求比较高，当前主流的几种数据库包括Oracle、DB2、SQL Server、My Sql等都对海量数据有了一定的支持，其中Oraclet和SQL Server较突出，微软公司的SQL Ser