浅谈公路信息化中存储系统规划.docVIP

浅谈公路信息化中存储系统规划 　　摘要：以高速公路收费系统为主体的信息化系统每天制造着大量的数据，有了充足的数据资源，面临的一个关键问题就是如何对海量数据进行存储与管理。本文提出了一种适用于计算机联网处理海量数据存储与管理的策略，并着重对该系统的基本构成、物料设计与逻辑设计进行了描述。 　　关键词：公路收费 海量数据 数据存储与数据管理 　　一、概况 　　在信息技术日新月异的今天，信息化工程建设已经深入到各行各业，许多发达国家的公路部门，办公自动化省、市、县三级已实现联网办公；也陆续上马了养护管理系路政管理系统、养路费征稽管理系统、通行费收费管理系统、财务管理系统等。而高速公路收费系统事实上成为公路信息化的中枢，一般包括若干个子系统，如车道系统、软件系统、CCTV系统、车辆检测系统，栏杆机控制系统、网络系统、照明系统、控制信号系统、供电系统等。这些系统每天制造着大量的数据，堪称海量，诱发着一个关键问题就是如何对海量数据进行存储和管理。 　　公路数据库中所采集和处理的数据量十分巨大，例如，一个信息中心的相关数据就达数百GB，而这仅仅是计算机联网系统所要采集和处理的一个部门的数据，如果加上路政、财务、大型工程建设等其他部门的数据，每年的处理数据量将以TB为单位进行计算。 　　对于高速公路收费系统中的海量数据，除了数据量大以外，其特点就是在数据相关性上不仅具有横向相关度，而且也具有纵向相关度。针对这种特点，本文提出并实现了一种计算机联网处理海量数据库存储系统，该系统采用了集群系统和SAN系统相结合的方式，先对横向无关的数据作了合理的分区，再对纵向相关的数据作了关联，使纵向相关的数据能够并行执行事务，从而在提高系统存储容量的同时，也提高了系统的查询速度。 　　二、存储系统规划 　　在海量数据的存储和管理方面，集群系统得到了广泛应用。根据海量数据存储和管理中处理器访问内存和磁盘方式的不同，可以将集群系统分为三种类型：共享内存式、共享硬盘式、非共享式。其中非共享式结构是支持并行数据库系统的最好结构，到目前???止，在非共享式系统上能够实现性能最优、吞吐量最大的并行数据库已经成为业界的共识。但由于共享内存式服务器在硬件上比较容易实现，因而在实际系统中集群系统一般采用共享内存式和非共享式结构相结合的方式，即非共享式结构的集群中各个结点是共享内存式结构的服务器，一般有两个以上的CPU。 　　为实现海量数据存储，还必须为集群系统提供足够的存储空间，一般的做法有两种：（1）在集群结点上挂接大容量本地硬盘。（2）使用SAN系统提供的海量存储空间。如果采用传统的挂接大容量本地硬盘的方式，尽管结果简单，但管理繁琐，且不易扩充；而SAN系统则有管理方便、扩充容易、能够实现透明逻辑等优点。 　　考虑到SAN存储系统具有很好的数据共享性，可扩展性和可靠性，故而推荐公路信息化采用SAN存储系统作为海量数据存储结构。集群计算机结点通过光纤通道卡直接连接到光纤存储网络上，确保了存储数据能够高速进行I/O。SAN存储系统将采用双控制器，有效提高存储系统的可靠性和数据的高可用性，通过预留出数据备份系统接口，安装分区模块系统和存储管理系统。同时，各集群结点共享磁盘阵列中存储的数据，结点本局负载动态地进行调整。 　　三、存储策略 　　1.逻辑结构设计： 　　在公路数据库系统中，由于采用非共享式结构，因而需要将SAN磁盘存储池划分成若干独立的区，集群中各个结点独享对应的区。例如系统由多个结点机组成，其中的SAN系统被分为若干个逻辑分区，每个分区绑定到一个集群结点上；此外，为保证不同部门数据的安全性和独立性，采集来的数据被设计成若干独立 表，或单独存储在一个分区上，或跨区存储在若干分区上，这种设计结构既保证了分区负载相对均衡，又保证了各个部门的数据独立性。 　　数据库采用分区技术可以大大增加所存储的数据容量。例如DB2表和表空间大小限制是建立在每个分区基础上的，因此在单机版DB2数据库中表的最大容量是1024GB（以64KB页面的大小）。使用多个逻辑分区则可允许用户通过增加分区数量来增大表的容量，比如把一个数据库分区成横跨4个结点，这种数据库系统就可以支持最大的（以64KB页面大小）的4096GB的表。 　　2.存储分配策略： 　　对于非共享式结构的并行数据库系统，数据表分区分配策略非常重要，良好的数据的分配策略应该使数据均匀的分布在各个分区上，并且方便数据重组，并且使得数据扩充时尽量不产生数据倾斜。目前常用的数据分配策略是Round-Robin（简称RR）方法、Range方法、Hash方法等。其中Hash方法既能够有效地支持大数据量工作，也能有效地支持划分属性上低选择性谓词的数据操作，由于在公路信息化系统中经常需要比对、统计、分析大量数据，因