基于智能配网系统的数据库分区技术研究.docVIP

基于智能配网系统的数据库分区技术研究 　　摘 要：智能电网的快捷发展使得配网数据极速增长，智能配网系统运行压力加大，如何够满足用户的访问响应成为当前急需解决的问题。探讨了数据库分区技术，实现了智能配网系统数据库分区策略。 　　关键词：智能电网；数据库分区技术；分区策略 　　中图分类号：TP392 　　文献标识码：A 文章编号：1672-7800（2015）005-0135-02 　　作者简介：安中印（1983-），男，安徽五河人，硕士，中南民族大学现代教育中心助理实验师，研究方向为数据挖掘、信息化校园；张嫣（1982―），女，江苏扬州人，硕士，中南民族大学计算机科学学院讲师，研究方向为数据挖掘、智能算法。 　　0 引言 　　随着智能化配电网的发展，配电终端具备了自动采集和远程上传数据的功能，采集频率可达到秒级，上传周期通常为每分钟1次。配网终端主要有以下4种：TTU、FTU、DCU和DTU。对于普通规模配网区域，各类终端的数量大约为1 000台，每天产生的数据量约为600万条。随着系统运行，配电终端的运行数据不断积累形成海量数据。本文通过ORACLE数据库分区技术对海量数据进行管理，对提高系统访问响应速度、稳定性、用户满意度有重要意义。 　　1 Oracle分区技术 　　1.1 定义 　　Oracle 分区技术于1997 年在Oracle8.0 中首次引入，它是Oracle 数据库最重要的功能之一，可以提高应用程序的性能、可管理性和可用性。利用Oracle 分区技术，可以很好地解决数据集中带来的性能问题，并且在逻辑上是透明的，最终用户感觉不到分区的存在[1]。 　　Oracle 分区（Partitioning Option）是一种处理超大型数据表的技术，是一种“分而治之”的技术，它将大表和索引分成可以管理的小块，无需对每个表视为一个大的、单独的对象进行管理，从而提供了可伸缩性能。通过分区将操作分配给更小的存储单元，节省了操作管理时间，并通过增强的并行处理提高性能，通过屏蔽故障数据分区增强可用性[2]。 　　1.2 Oracle 分区类型 　　Oracle 分区主要有4种类型：范围分区、哈希分区、列表分区和组合分区。具体如下：①范围分区。将数据基于范围映射到每一个分区，此范围由创建分区时指定的分区键决定的。这种分区方式最为常用，并且分区键经常采用日期；②hash分区。对于无法有效划分范围的表，可以使用hash分区，对提高性能有一定帮助。hash分区将表中的数据平均分配到指定的分区中，依据分区列的hash值自动分配，用户不能控制也不知道记录会被放到哪个分区中，hash分区可以支持多个依赖列；③列表分区。List分区需要明确指定列的值，该分区列只能有一个，不像range或hash分区可以同时指定多个列作为分区依赖列，但其单个分区对应值可以是多个；④组合分区。如果某表按照某列分区后仍较大，可以采用在分区内再建子分区的方式，即为组合分区[3-4]。上述分区类型优缺点比较如表1所示。 　　2 Oracle分区意义 　　（1）提高查询效率。对于全表扫描，如查找某年度所有电力终端上报数据，Oracle需要在整张大表上进行逐条扫描，如果该表按年度进行了分区，通过分区裁减功能（无需手动选择，数据库会智能使用）Oracle只对该年度的分区段进行扫描。 　　（2）降低数据维护成本。智能配网系统数据库中通常保存近3年配电网历史运行数据，过期历史数据需要作清除处理。传统DELETE操作不仅效率低，并且会产生大量碎片与日志记录，若回滚段设置不当，会导致宕机。如按年度分区，通过简单的命令“alter table drop partition ”，即可完成清理（仅修改数据字典），并不产生碎片，更不会因此而宕机。 　　（3）提高数据可用性。一般情况下，一张大表只能作为一个段放在一个表空间中。当出现物理或逻辑坏块时，整张大表都不可访问。在分区情况下，由于每个分区作为一个段，有独立的物理属性，坏块出现只会影响其所在分区，其它分区数据依然可以正常访问。 　　3 智能配网系统数据库分区策略 　　3.1 建立分区表 　　配网数据时间分布特点比较明显，范围分区是最合适的分区方式。可对电压、电流数据表按照时间字段进行范围分区。 　　建立分区后，通过测试语句select ge.deviceid，ge.devicetype，ge.sdate，ge.stime from t_gis_his_electric ge，t_gis_his_voltage gv where ge.sdate=2011-03-16 and gv.sdate=2011-03-16and gv.deviceid=ge.deviceid，分区前后电压电流表连接查