分布式海量数据处理平台设计与实现.docVIP

分布式海量数据处理平台设计与实现 分布式海量数据处理平台设计与实现 PAGE / NUMPAGES 分布式海量数据处理平台设计与实现 散布式海量数据办理平台设计与实现 摘 要：为了提升电力行业网络各种监控设施告警信 息和告警事件的办理速度，本文设计了由中心控制节点、计 算节点、配置服务节点等组成的海量数据办理平台。经过中 心控制节点实现任务的分解与控制，计算节点实现任务计 算。使用鉴于文件格式的方式进行数据收集，利用 Map/Reduce 的模型进行数据汇总。 采纳本平台能够实现对海 量告警信息的捕捉和办理，保证告警剖析的效率。 重点词：海量告警；散布式；数据办理 中图分类号： TP311 文件表记码： A 文章编号： 1673-1069（ 2016） 35-175-2 前言 跟着现在世界互联网的迅猛发展，电力行业也开始运用 现代信息技术对电网的运转状况进行监控，电力网络各种监 控设施每日都会产生大批的告警信息和告警事件，这些信息 的收集、冲洗、剖析以及汇总所包含数据的计算与办理复杂 度特别高，计算量特别大，因此会对计算机硬件性能有很高 的要求。散布式计算技术能够将一些自己合适分解成大批更 小计算片段的复杂问题进行分解，而后再将这些更小的计算 片段分派到多个计算资源上，利用多个计算资源分别对这些 小的计算片段进行散布式求解，这样不只有效的利用了各个 闲置的计算资源，也加速了计算履行的效率，充足发挥了计 算的高并行性。为此我们能够将散布式计算技术引入到电力 行业告警信息和告警事件的办理中，提升信息的办理速度， 为电力系统的运维看管提升效率。 本文是经过对目前已有的成熟的散布式计算系统如 谷歌 的 map/reduce 架构以及 hadoopDB 等系统的研究检查， 借鉴了 map/reduce 的基本思想， 针对电力行业运维监控中的 各样海量告警数据办理的业务，提出的散布式海量数据办理 系统平台。 整体构造设计 海量散布式办理平台达成数据收集、任务散发、任务处 理以及任务汇总等多项内容。平台主要包含了中心控制节点、计算节点、配置服务节点、拆分节点、日记节点、数据收集传输零件以及电信网络单元这七大多数。各部分之间互 相通信，相互当合达成任务的拆分， 发送及履行。 此中 Master 为中心控制节点， CU 为计算节点， CS 为配置服务节点， TS 为拆分节点， LS 为日记节点， MED 为数据收集传输零件， NES 为电信网络单元，能独立达成必定的传输功能。 节点设计 2.1 中心控制节点 在整个系统中，中心控制节点是中心，负责系统中全部 资源的调动，并依据计算节点的状态分派系统中的任务，进行有关的数据剖析和计算，协调系统的整体运转。同时，为了防备主控节点不测挂机致使的数据丢掉的现象，采纳双机热备的体制来作为主控节点的备份。 Master 中包含的主要子模块有通信、任务调动、任务管 理、准时器和 Corba、锁管理等模块。 ①通信子模块： 主要负责的是 Master 和其余子模块之间 的通信，负责散发和接收模块间的信息报文；②任务管理子模块：主要负责对系统中办理任务的管理，包含最先的任务创立、任务运转过程中的状态保持、大任务的分解、全部任务的保护以及任务履行等功能。③任务调动子模块：主要达成任务调动的有关工作，包含依照任务的优先级对系统任务 进行调动安排， 锁进度的管理与保护， 保持进度间的通信等。④准时器模块：主要负责检查系统能否超时，以及办理超时 后触发的事件等问题，准时的检测系统的各样状态等。⑤ Master-Standby 同步模块：主要负责同步 Master 上的任务到 Standby，以减少由于 Master 出故障后造成的损失。 2.2 散布式计算节点 计算节点负责的是对海量数据进行详细的计算剖析以 及对数据的详细任务办理，波及到最先的数据收集、计算完 毕后的数据汇总、汇总结束后的数据备份以及最后结果的查 询等阶段。计算节点是整个系统中的基础，是任务履行的基 本单元，节点在运转的过程中，要分别与中心控制节点、外 部模块以及参数配置节点等部分进行信息通信，在办理这些 信息的同事，还要经过任务调动实现对任务的并行办理调 度。一个完好的计算节点往常由任务管理模块、通信模块、 数据操作模块以及准时器组成。计算节点中采纳多线程技术 实现以上的各项功能。 CU 的主要作用就是并行高性能化地履行各样小作业， 当有小作业需要被履行时， CU 的详细履行流程为：①经过负载平衡模块， 计算节点 CU 主动向 Master 主控节点恳求作业，并获去作业的有关任务；② Master 向主控进度中通信模 块的 Master Agent 发送分派的新作业， 并为其分派新的任务；③主控进度中通信模块的 Progress Agent 接收