基于Tokyo Tyrant智能电网数据处理及应用探究.docVIP

基于Tokyo Tyrant智能电网数据处理及应用探究[摘要] 该文着重研究智能电网电力用户用电数据采集处理领域中性能大幅提高的问题，主要利用Java技术和数据库技术研究电力用户用电数据智能控制采集系统，采用基于DBM和Tokyo Tyrant技术构建高并发的分布式持久存储系统，实现对海量电力用户用电数据的高效处理，进而实现整个电力系统的优化运行与管理，实现智能电网的初步发展目标。 [关键词] 智能电网 数据采集 数据处理 Tokyo Tyrant 　　 　　 　　新一代智能电网的建设和改造虽然已经开展了一段时间，但电网智能化的发展还是相对落后的，海量用电数据采集处理很大程度上制约了电力系统信息化和智能化的发展。因此，海量数据的采集处理技术在智能电网方面的研究意义重大。 本文主要介绍智能电网用电信息采集系统的数据处理子系统应用的相关理论与关键技术，如SOA框架、J2EE开发平台、Tokyo Tyrant数据库高速缓存技术等；然后提出了智能电网数据处理子系统的整体设计方案；利用成熟的软件开发技术，进行智能电网数据处理子系统的初步开发。 1 关键技术说明 　　为了构建高可用性、安全性、可靠性、可伸缩性和扩展性的用电信息采集系统，系统采用J2EE企业平台架构搭建，采用多层的分布式应用模型及灵活的事务控制，使系统具有更好的移植性，以适应用电信息采集系统应用环境复杂、业务规则多变、信息发布的需要，以及系统将来的扩展的需要；采用基于Tokyo Trant缓存结构的数据库设计，实现对Oracle数据库表的海量数据的高速写入、读取、查询与分析，进而优化智能电网电力数据采集系统的运行与管理。 1.1以SOA框架为基础的J2EE实现 　　面向服务的体系结构是一个组件模型，它将应用程序的不同功能单元通过这些服务之间定义良好的接口和契约联系起来。接口是采用中立的方式进行定义的，它应该独立于实现服务的硬件平台、操作系统和编程语言 [1]。 J2EE是一套全然不同于传统应用开发的技术架构，包含许多组件，主要可简化且规范应用系统的开发与部署，进而提高可移植性、安全与再用价值[2]。J2EE技术的基础就是核心Java平台或Java 2平台的标准版，J2EE不仅巩固了标准版中的许多优点，同时还提供了对 EJB、Java Servlets API、JSP以及XML技术的全面支持 [3]。 1.2缓存、DBM和数据库技术 　　缓存主要用来解决IO速度不同的接口间数据传输瓶颈的问题。将经常读取的数据存储在缓存系统中，由于其存储于服务器的内存中，读取速度会十分快，同时也减轻了数据库的访问压力。 1.2.1 DBM 　　DBM即动态缓冲管理，在库存管理中又叫动态缓冲库存管理 [4]。DBM数据库是一种具有动态缓存管理特征的数据，它能把数据缓存在内存中实现高速访问。尤其在配送系统和补给系统变动频繁的情况之下，它在对大数据量的数据访问方面有着非常不错的表现。 1.2.2 Tokyo Tyrant缓存 　　Tokyo Cabinet 是一款DBM数据库，该数据库读写非常快。写入100万数据只需要0.4秒，读取100万数据只需要0.33秒。Tokyo Tyrant 提供dbm数据库Tokyo Cabinet的网络接口。它使用简单的基于TCP/IP的简单二进制协议进行通信，实现了跨平台、跨语言使用Tokyo Tyrant。采用热备份，更新日志记录，复制来实现高可用性和高可靠性 [5]。 1.2.3 Oracle数据库 　　Oracle数据库是一种大型数据库系统，能够处理大批量的数据，Oracle数据库管理系统是一个以关系型和面向对象为中心管理数据的数据库管理软件系统，因其在数据安全性与数据完整性控制方面的优越性能，以及跨操作系统、跨硬件平台的数据互操作能力[6]，在管理信息系统、企业数据处理、因特网及电子商务等领域有着非常广泛的应用。 2 系统架构设计 　　对本系统的架构设计主要从物理架构、数据架构和软件技术架构实现等方面展开讨论分析。 2.1 物理架构设计 　　智能电网用电数据采集系统主要包括基本应用、高级应用、运行管理、统计查询、系统管理，为营销业务应用中的其他业务提供用电信息数据源和用电控制手段。同时还可以提供营销业务应用之外的综合应用分析功能，如配电业务管理、电量统计、决策分析、增值服务等功能，并为其他专业系统提供基础数据和决策支持。 2.2数据架构 　　该系统数据架构的规划能满足海量用电信息的实时数据存储，为了保障日常业务系统的运行效率，通过数据复制技术建立统计分析数据库，在该库上进行统计查询和历史信息处理业务，不影响业务数据库的处理性能。可以在分析历史库上通过ETL方式将数据发布到数据中心，营销业务应用系统从数据中心获取