用电采集系统云计算技术构架分析与研究.docVIP

用电采集系统云计算技术构架分析与研究 　　摘 要：随着用电采集范围的逐步扩大，以采集系统全覆盖为支撑，深入挖掘采集系统数据，深化应用采集系统功能，利用基于实时数据库、云计算一体相融合技术应运而生，即实现由传统的“集中分析-集中处理-统一展示”到“分布式分析-分布式处理-统一展示”的过度，用电采集信息数据入库采用实时数据流处理技术，底层数据管理采用DataCube分布式基础架构，基于云存储文件系统，以实现类关系型数据库的复杂关联查询。主要研究内容：（1）研究基于用电信息采集系统的数据实时处理支撑技术，解决用电信息实时高效存储、实时分析、实时计算等时效性比较高的一系列需求；（2）设计通用的数据接口，为配电生产指挥平台、营销业务应用系统、营销GIS系统等提供数据分析及数据处理支持；（3）研究针对海量数据实时在线分析挖掘和统计的功能，为有序用电智能决策分析提供强有力的依据。 　　关键词：用电采集；实时数据库；分布式存储与计算；海量数据；云计算；云存储 　　1 理论基础 　　云实时数据库在用电信息采集系统的提出是以在互联网、智慧城市、智慧交通和智能视频监控领域已经商业化应用的云计算技术，作为对用电信息采集系统海量数据处理性能提升的主要技术手段，采用松耦合的数据分流的方式构建新型用采主站数据共享平台，实现对海量数据处理性能的提升。 　　采用云计算的分布式文件存储与关系型数据库共存的模式，采用实时分布式存储技术和当前关系型数据库结合的方式，借助云计算和关系型数据库的优势互补，实现系统性能提升。 　　2 设计原理 　　2.1 优化存储策略 　　云实时存储平台采用分布式的存储机制，将数据分散存储在多台独立的存储服务器上，在每个服务器节点上运行云实时存储平台相应的软件服务程序模块。 　　由一对元数据服务器及其管理的存储服务器节点所提供的存储空间称为一个卷空间，不同的卷空间由卷管理服务器虚拟化统一管理，对外可提供统一的海量存储空间。管理监控中心提供统一易用的WEB配置管理监控平台，提供设备监控、空间监控、文件监控、服务监控、用户认证管理、配额管理、故障告警及预警等功能，实现智能化管理。 　　2.2 分布式文件存储系统 　　分布式文件系统包括卷管理、元数据管理、块数据管理服务。元数据是指文件的名称、属性、数据块位置信息等，元数据管理通过元数据服务程序完成。 　　实现元数据服务器主备双机高可用，确保7*24小时不间断服务。通过元数据远程多机冗余备份功能，实现在多台其它机器上备份元数据，当元数据服务器损坏，可以通过备份的元数据重新恢复服务，确保数据可以完整找回。架构实现了统一调度，负载均衡和流量自动分担功能，多个存储节点同时对外提供数据流服务，系统根据磁盘空间使用比例进行资源优化配置。分布式文件系统具有自动冗余重建功能，确保损坏的数据块能够被解码或编码后存储到在线的正常的存储服务器节点上。 　　2.3 存储访问接口 　　分布式文件系统提供符合POSIX规范的文件系统访问接口。支持Linux、Windows、MaxOS X等操作系统平台。可将云实时存储平台提供的存储空间挂接为本地目录或本地盘符来使用。用户操作云实时存储平台空间和操作本地文件相同。云实时存储平台为采集系统提供API函数、JDBC、ODBC、SQL等方式实现数据的存储和查询管理；为其他系统提供API函数、JDBC、ODBC、Web Service服务等接口形式，满足数据的共享查询和数据挖掘。云实时存储平台系统采用分布式的方式，把原先计算密集型复杂任务，进行原子性分解，分配到不同的任务处理节点上，进行并发同步处理，提高数据处理效率和数据处理容量，保证数据处理性能。由于云实时存储平台系统的高效IO访问能力，保证数据抽取写入的效率，在任务处理过程中大量节约了时间。提高了数据计算任务处理的效率。 　　2.4 分级动态存储方式 　　云实时存储平台采用了分级技术，把存储信息根据信息的重要性、访问频率等对信息进行了分级存储，将文件的元数据等访问频繁的重要信息时刻保持在线存储，开机后保存在内存中，可以随时读取和修改，以满足前端应用服务器或数据库对数据访问的速度要求。将其他备份数据、冗余容错的数据等访问量小的数据等采用廉价的SATA硬盘存储。对于访问量小的数据采用离线存储，一旦需要访问这些数据可以使用相应的唤醒策略来实现将离线转为在线。 　　3 技术分析与数据处理 　　3.1 高速并发访问技术 　　客户端首先访问主服务器节点，获取将要与之进行交互的块服务器信息，通过访问块服务器完成数据的存取。有效解决了控制流和数据流的分离，客户端与主服务器间只有控制流，没有数据流，自然就降低了主服务器的负载，有效解决了系统性能的一个瓶颈。而客户端与块服务器间直传输数据流，文件被分成多个块