节能减排监控系统的计算框架研究.docxVIP

　　摘要海量采集数据的存储和高并发访问、节能减排计算业务的快速增长及计算逻辑的频繁变化，使得目前基于技术的计算框架的处理能力和扩展性成为节能减排系统应用深化过程中的瓶颈。 　　针对遇到的问题，设计了基于系统、大数据技术和脚本驱动的分布式计算框架，将复杂的计算业务拆分成彼此独立的可重用计算组件，利用脚本技术实现计算组件之间的关联关系和计算组件的计算逻辑。 　　目前，利用这种计算框架建立了节能减排计算平台，为江苏全省所有统调燃煤机组环保电价考核业务提供高吞吐量、高扩展性和高效可靠的计算服务。 　　关键词节能减排；分布式计算；脚本技术；；；江苏省自2006年开始建立了燃煤机组烟气脱硫实时监控及信息管理系统，经过多年的努力，先后建立起脱硫、脱硝、除尘等各类节能减排应用。 　　随着应用的深化，采集数据由最初的3000测点扩展到目前的40万测点。 　　数据量随之剧增。 　　同时，计算业务也日趋复杂，算法逻辑频繁调整，目前的数据库服务器和计算服务器承受了巨大的资源压力。 　　为了解决当前出现的问题，本文提出了一个基于大数据技术的节能减排分布式计算框架，要求能够适应多变的业务需求以及高并发的数据处理要求。 　　节能减排分布式计算框架是一套基于系统、大数据平台，支持脚本驱动的计算平台，它具有较高的扩展性和数据并发处理能力，支持海量数据存储，能够解决当前系统中遇到的各类问题。 　　1计算框架需求分析节能减排分布式计算框架的建立是为节能减排系统服务的，数据计算模型与节能减排具体应用密切相关。 　　目前主要考虑三种业务的计算模型。 　　脱硫业务对脱硫相关设备的测点数据进行处理和统计，对统计结果进行深层次的分析。 　　脱硝业务对脱硝相关设备的测点数据进行处理和统计，对统计结果进行深层次的分析。 　　除尘业务对除尘相关设备的测点数据进行处理和统计，对统计结果进行深层次的分析。 　　2系统整体架构节能减排分布式计算框架构建在操作系统上，在实现上分为三层结构数据库服务系统、公共服务系统、平台服务系统，结构如图1所示。 　　21数据库服务系统由大数据系统和关系型数据库系统2构成，其中大数据系统是核心，关系型数据库系统用于辅助支撑。 　　主要用于存储历史数据、结果数据、档案数据、分布式计算框架管理数据。 　　22公共服务系统公共服务系统是分布式计算框架的数据处理核心，负责数据访问驱动接口、脚本驱动引擎、安全处理、日志处理以及计算框架和应用的异常处理。 　　根据分布式计算框架的特性，公共服务系统将会对外暴露出多个数据接口，用于上层应用的数据访问、数据处理、业务算法实现以及脚本驱动。 　　23平台服务系统平台服务系统包括脚本编辑系统、平台运行系统、辅助系统。 　　脚本编辑系统具有业务算法配置、脚本编写和管理功能；平台运行系统具有任务调度、执行功能，脚本编辑系统编写的脚本将通过运行系统驱动；辅助系统包括外部历史数据、档案数据的导入和存储。 　　3节能减排大数据中心节能减排分布式计算框架将数据分成四类，分别是现场实时采集数据、计算结果、档案数据、分布式计算框架管理数据。 　　数据的存储基于系统的数据库。 　　的核心是和，为海量数据提供存储，为海量数据提供检索计算[1]。 　　是一个分布式的、面向列的开源数据库，它在之上提供了非结构化的数据存储能力[2]。 　　31现场实时采集数据在分布式计算框架中，现场实时采集的数据存储于历史数据表中。 　　节能减排分布式计算框架中最大测点数约40万，大部分测点数据的采集周期为每10秒，数据量巨大。 　　考虑到节能减排数据的规模以及大数据检索性能，历史数据表按年分表存储。 　　历史数据存储以测点编码、小时时间为行检索关键字，存储对应小时的历史数据，该测点的一个小时数据按四个列族方式存储，每个列族存储15分钟数据。 　　32结果数据结果数据包括节能减排相关计算业务的处理结果，包括脱硫、脱硝、除尘小时排放数据、考核数据和事件统计数据等。 　　每种应用数据都是基于特定的计算单元应用相关的具有内在逻辑关系的一组测点的多个测点数据按照一定的逻辑关系计算所得，因而计算结果数据在中的存储以计算单元编码、时间为检索关键字，按照应用要求建立列族存储结果数据。 　　33档案数据节能减排分布式计算框架的建立是为节能减排的各种应用服务，目前应用相关档案数据主要是与电厂、设备、采集关系比较紧密的一些配置信息数据。 　　各种档案表中以档案的编码为检索关键字，根据具体的档案信息建立列族存储数据。 　　34分布式计算框架管理数据分布式计算框架内除了需要处理的历史数据外，还包括支撑系统运行的框架管理数据，如账户数据、脚本信息数据、日志数据等。 　　帐号数据是分布式计算框架中的登录用户信息，帐号信息作用于