MS_SQL_Server中大数据量表的查询优化.pdfVIP

2005 年 第 2期 计 算 机 系 统 应 用 MSSQLServer中大数据量表的查询优化 Queryoptimizingmethodwithlargedatum volumeconditioninMSSQLServer 尹永顺 (中国科学院研究生院软件学院 100039) 摘要：在MSSQLServer中如何处理记录条数2000万以上且每El增加20万条的数据表，相信是很多开发人员面临 的难题。本文以实际案例描述了此问题的解决方法及其存在的问题。在SQLServer2000中，可以通过分区视图 的定义来支持大数据量表的水平拆分和查询时的数据合并，且查询引擎提供的优化机制，使得SQLServer在大数 据量条件下的查询性能得到了明显改进。最后，指拙了本解决方法所带来的问题及其适用范围。 1 问题提出 (2)定义分区视图合并小表中的数据，应用程序 基于二维关系表的数据库管理系统(DBMS)是数 通过视图访问所需的数据： 据处理的核心，承担着是信息系统中业务数据的存储、 (3)在小表中定义查询引擎所需的主键和check 管理的功能。目前，比较典型的数据库产品包括Ac— 约束： cess，MS SQLServer，Oracle，DB2等。本人最近参与 (4)调整应用程序中对数据的访问方式； 开发的网管系统，就采用了微软的MSSQLServer2000 接下来，将详细介绍具体的优化处理内容。 数据库系统。 2．I原数据表结构 应用系统现场运行4个月后，开始出现复杂条件 原数据表pm—hour_sedor_history，用来存放所有 查询取不回来结果的情况。经过检查发现，故障是由 小区的性能指标的历史数据，共保存有6个月的数据， 于复杂条件的SQL语句查询超时，导致应用程序得不 每天新增加2O万条，半年数据量约3600万。表结构 到数据引起的。继续检查SQL语句为单表查询，但是 定义如下： 该表记录数将近2000万，且每天增加2O万。很明显， CREATETABLE[dbo]．[p our_sedor_history]( 问题是由于查询数据表中记录过多引起的。 [sedor_id][varchar](20)NULL， 这是一个很典型的数据库问题，即采用何种方法 [record_date][varchar](50)NOTNULL， 才能实现大数据量 (2000万以上)表的查询优化? [start—of—interva1][varchar](5O)NOTNULL， [end—of—interva1][varchar](5O)NOTNULL， 2 解决方法 [cily_narnej[varchar](5O)NULL， 大数据量表的查询属于数据库优化的一个方面， [city_id][char](1O)NULL， 可以按照尽量减少 I／O数量的原则进行。具体来说， [omc_name][char](1O)NULL， 就是采用水平分区的方法，将一个表分割成结构相同 [Ms_name][varchar](50)NULL， 的多个表，每个表都只包括大表中的一部分数据行。 [omc3d][smallint]NOTNULL， 这样，查询时就可以只查找包含查询结果数据行的一 [mmjd][smallint]NOTNULL， 两个小表，而不用查找整个大表，从而使得 I／O数量大 [subj—idj][smallint]NOTNULL， 幅降低，查询时响应速度得到