基于Twitter Storm的数据实时分析处理工具研究.pdfVIP

基于TwitterStorm的数据实时分析处理工具研究 ◆赵建红 (首都经济贸易大学 北京 100070) 摘【要】过去的十年是数据处理变革的十年，MapReduce，Hadoop 常容易管理。容易管理是 storm的设计 目标之一。 以及一些相关的技术使得我们能处理的数据量比以前要大得 多 (5)容错性好：如果在消息处理过程中出了一些异常，storm 得多。但是这些数据处理技术都不是实时的系统。它们设计的目 会重新安排这个出问题的处理逻辑。storm保证一个处理逻辑永 的也不是为了实时计算 没有什么办法可以简单地把hadoop变 远运行，除非你显式杀掉这个处理逻辑。 成一个实时计算系统。然而大规模的实时数据处理已经越来越 (6)语言无关性：健壮性和可伸缩性不应该局限于一个平台。 成为一种业务需求了．而缺少一个 “实时版本的hadoop”已经成 Storm的topology和消息处理组件可以用任何语言来定义，这 为数据处理整个生态系统的一个 巨大缺失。twitterstonn的出现 一 点使得任何人都可以使用storm。 弥补 了hadoop在 实时处理方面的不足 ．本文就twitterstorm在 二、TwitterStorm的关键概念 实时数据计算方面的优点和架构实现进行研究 (1)计算拓补 (Topologies)：一个实时计算应用程序的逻辑 【关键词】twitterstorEl实时计算 实时数据处理 在storm里面被封装到topology对象里面，我把它叫做计算拓 补 。Storm里 面 的 topology相 当 于 Hadoop里面 的一 个 MapReduceJob，它们的关键区别是：一个MapReduceJob最终总 一 TwitterStorm的优点 、 是会结束的，然而一个storm的topoloy会一直运行，除非你显 Storm出现之前，你可能需要自己手动维护一个由消息队列 式的杀死它。一个 Topology是Spouts和Bolts组成的图状结 和消息处理者所组成的实时处理网络，消息处理者从消息队列取 构，而链接 Spouts和Bolts的则是Streamgroupings。 出一个消息进行处理，更新数据库，发送消息给其它队列，等等等 (2)消息流(Streams)：消息流是 storm里面的最关键的抽 等。不幸的是，这种方式有以下几个缺陷： 象。一个消息流是一个没有边界的tuple序列，而这些tuples (1)单调乏味：你花费了绝大部分开发时间去配置把消息发 会被以一种分布式的方式并行地创建和处理。对消息流的定义主 送到哪里，部署消息处理者，部署中间消息节点 一 你的大部分 要是对消息流里面的tuple的定义，我们会给tuple里的每个字 时间花在设计，配置这个数据处理框架上，而你真正关心的消息 段一个名字。并且不同tuple的对应字段的类型必须一样。也就 处理逻辑在你的代码里面 占的比例很少。 是说：两个 tuple的第一个字段的类型必须一样，第二个字段的 (2)脆弱：不够健壮，你要 自己写代码保证所有的消息处理者 类型必须一样，但是第一个字段和第二个字段可以有不同的类 和消息队列正常运行。 型。在默认的情况下，tuple的字段类型可以是：integer，long， (3)伸缩性差：当一个消息处理者的消息量达到阀值，你需要 short，byte，string，double，float，boolean和 bytearray。你 对这些数据进行分流，你需要配置这些新的处理者以让他们处理 还可以自定义类型，只要你