《storm项目-流数据监控5《zookeeper统一配置》》.pdfVIP

黄崇远文档整理系列 Storm 项目：流数据监控 5 Zookeeper 统一配置 作者：黄崇远 时间：2013/10/24 类型 详细 备注 该文档为monitorTopology 数据流监控模拟工程的节点配置实现部分，该文档 阐述了使用zookeeper 实现storm 架构统一配置相关设计及实现。  其他相关文档请参考新浪博客/huangchongyuan  有任何其他想法，可以邮件874450476@ 相关描述  文档及相关资料下载请个人360 云盘/QGf2GDaRFpcDt 及 百度文库、新浪爱问搜索。  部分文档涉及到源码，有需要的博客留言，关注我的博客。  欢迎加入storm-分布式-IT 技术交流群（191321336，群中有详细的资料）， 一起讨论技术，一起分享代码，一起分享设计。 黄崇远文档整理系列 目录 Storm 项目：流数据监控 5 1 1 文档说明1 2 Zookeeper 统一配置1 2.1 设计统一配置因素1 2.2 配置系统技术选型1 2.3 统一配置设计方案2 2.4 代码参考2 2.4.1 storm.conf.OptZookeeper.java 3 2.4.2 storm.conf.GetTopConf.java 6 2.4.3 storm.conf.PutConf.java 6 2.4.4 storm.conf.GetConf.java 8 3 Zookeeper 相关API 10 4 项目拓展10 0 黄崇远文档整理系列 1 文档说明 好久没更新storm 相关的文章了 （快一个月了），很早以前就有朋友提出过storm 的拓扑任 务会出现supervisor 各节点配置麻烦的问题，基于此，我很早就考虑如何解决这个问题，直 到现在才把这个问题解决（工作小忙）。 使用zookeeper 进行设计storm 拓扑的配置系统，设计思路大家可以参考参考，代码部分就 有点次了（时间太匆忙了，白天上班，大半夜写代码，写文章不容易啊），大家能看得下去 就看吧，不过优化优化改改还是能用的。 好了，不多说了，喜欢的朋友，可以博客加个关注，会时常更新点东西，有兴趣一起交流的 朋友，加入到191321336 的技术群中，一起讨论交流~~~ 2 Zookeeper 统一配置 2.1 设计统一配置因素 在storm 的拓扑任务中，采用常规的节点配置从配置文件（conf ）中直接读取，会出现以下 几个问题： (1) 节点太多，配置文件需要配置的节点太多，太繁琐； (2) 配置需要修改时，很难保证各个节点的配置文件统一； (3) 无法定位各个功能节点位置，每个节点需要所有配置文件，导致每个节点配置臃肿； (4) 配置文件太分散，动态更新不现实。 以上几个主要原因导致了，采用传统的直接读取配置文件获取配置信息的方式不适合类似这 种集群应用，必然需要设计一个能够进行统一配置的组件或者是系统。 2.2 配置系统技术选型 想要实现集群配置文件的统一配置，必然不能将配置文件放在各个分散的节点上，考虑的思 路是放在一个节点上，然后让该节点读取，其他节点从该节点获取，这样就保证了配置文件 统一性（只此一份）。可以考虑以下几种设计思路： (1) 在storm 的拓扑主类（Topology ）中使用Config conf = new Config();进行参数传递，及在 主类中读取配置文件中的所有配置，然后通过Conf