大型人口信息数据库系统设计与实践.docVIP

大型人口信息数据库系统设计与实践 　　摘 要 四川省人口信息平台作为四川省卫生计生系统管理人口计生工作的重要业务工作平台，是以全员人口数据库为基础，采用省级集中模式，涵盖了包括全员人口、育龄妇女、流动人口、行政执法、技术服务、利益导向、统计监测、便民服务、辅助决策等10余个子系统的大型人口信息系统。本文对人口信息数据库系统进行了设计。 　　【关键词】人口信息 数据库系统 设计 　　1 引言 　　要保障四川省全省人口计生业务的正常开展，实现9000万人口信息库的实时动态更新，平台的数据库系统设计面临诸多挑战：一是系统终端用户众多。全省市、县、乡和部分村各级注册用户3万多人，每天实时在线使用超过1万人次，对数据库系统的并发量要求较高。二是业务类型繁多。既有人口信息的实时采集变更，又有面向百姓的证件办理服务，还有面向管理的决策支持服务，对数据库系统的可靠性、实时性、吞吐量等要求较高。 　　2 数据库系统架构设计 　　根据平台实际业务需求，按照人口数据数量级，确定使用微软SQL Server。根据数据库数据量，充分考虑数据库面向的不同应用场景和数据库可靠性，按照分布+集中的原则，将整个数据库系统分为业务层、镜像层、决策支持层、公共层。业务层主要面向基层业务管理应用，根据SQL Server在管理1500万到2000万人口数量级别性价比最优的测试结果，按行政区域将业务层分为6个分区数据库，分别部署在6台服务器上。镜像层主要负责数据实时备份、承担业务层数据库故障转移，其中合并数据库通过订阅发布将各分区数据库合并，为省级实时统计分析和决策支持层提供基础数据。决策支持层通过对合并库数据进行抽取、清洗，建立数据仓库，支撑各类决策支持分析模型应用。公共层主要存放系统配置、交换数据、数据字典公用数据。如图1。 　　为实现分区业务数据库访问，系统将拦截所有对数据库的访问请求，根据分区算法，自动将请求转发到相应的分区数据库中。如图2。 　　数据库分层设计主要优点有：一是按行政区划分区不仅有效均衡了访问负载，而且可通过区划代码聚集索引提升系统查询性能；二是合并库的设立实现了部分读写分离，避免了大数据量分析对业务层应用产生影响；三是通过镜像实现了数据库故障转移，提升了数据库系统可靠性。四是数据库系统扩展配置灵活，可根据业务发展需要调整和增加分区。 　　3 主要优化保障措施 　　为满足人口信息平台高可靠、高效率、大并发、大吞吐的业务需求，除了采取常规的数据库性能优化措施外，根据长期应用实践，还进行了以下优化完善： 　　3.1 数据库设计与索引优化 　　人口信息平台的数据特点是数据增量不大，但日常数据变动频繁；而具体应用时需要实时提供大量统计分析。根据以上特点设计了人员编码字段，该字段由区域编码+顺序码的方式组成，并在此字段上建立聚集索引，以满足快速统计分析的需求。通过分析经常使用的统计分析，在此基础上建立普通索引，以提升性能；在索引建立后，根据数据库使用情况，通过重新生成或重新组织的方式定期优化索引性能。 　　3.2 数据库存储布局优化 　　磁盘I/O是影响数据库性能的关键因素，因此数据库存储布局上需坚持以下原则：一是尽可能将数据库存储于RAID；二是将连续访问的文件分布在专用磁盘上，如给事务日志文件单独分配一个磁盘。三是通过创建文件组，将数据文件分布尽可能多的磁盘驱动器上，从而实现更多的并行磁盘访问，提升数据访问效率。 　　3.3 SQL查询优化 　　通过对SQL查询语句的跟踪，查找运行时间较长、占用系统资源高、造成死锁的SQL语句进行定点优化；另外考虑到系统对实时统计查询的要求较高，根据业务逻辑调整数据库的事务隔离级别，以达到最高效率SQL查询速度。 　　3.4 对数据库运行情况进行实时监控 　　通过应用系统实时抓取数据库服务器CPU占用率、内存占用率、死锁数、连接数、批请求数、IO数、等待任务数等关键指标，并对每个指标设定阀值，对超出阀值的进行实时预警，提示管理人员及时处理。 　　4 结束语 　　本文重点针对大型人口信息系统的数据库架构设计和优化措施等方面思路进行了分析，在实际应用中也取得了一定成效。然而数据库的设计和优化涉及的因素还很多，不仅要紧密结合业务应用系统本身需求和特点，还要在实践应用中持续优化，才能更趋完善。 　　参考文献 　　[1]Hector Garcia-Molina.JeffreyD.Ullman.JenniferWidom著/杨冬青，吴愈青，包小源，唐世渭等译.数据库系统实现（第2版）[M].北京：机械工业出版社，2010. 　　[2]KalenDelaney著/金成姬，陈绍英等译. Microsoft SQL Server 2005技术内幕：查询、调整和优化[M].北京：电子