试谈chukwa在数据收集处理方面的应用.docVIP

谈 chukwa 在数据收集处理方面的应用 数据收集一直以来都是一个很重要的话题，在各行各业中，有各种方式在进行着数据收集工作，而本篇将要介绍的是与 Hadoop 集成的数据收集工具 Chukwa，它有几个非常吸引人的特点：它架构清晰，部署简单；收集的数据类型广泛，具有很强的扩展性；与 Hadoop 无缝集成，能完成海量数据的收集与整理。本文将从最基本的概念讲起，随后将逐步介绍如何搭建一个功能强大的数据收集平台。相信对大家在日后的工作中能带来很大的帮助。 李 平 2011 年 9 月 23 日 Chukwa 简介 Chukwa 的架构设计 Chukwa 环境搭建与部署 基本命令介绍 内部数据处理时序介绍 如何支持新的数据类型 如何自定义数据处理模块 结束语 参考资料 浅谈 chukwa 在数据收集处理方面的应用 数据收集一直以来都是一个很重要的话题，在各行各业中，有各种方式在进行着数据收集工作，而本篇将要介绍的是与 Hadoop 集成的数据收集工具 Chukwa，它有几个非常吸引人的特点：它架构清晰，部署简单；收集的数据类型广泛，具有很强的扩展性；与 Hadoop 无缝集成，能完成海量数据的收集与整理。本文将从最基本的概念讲起，随后将逐步介绍如何搭建一个功能强大的数据收集平台。相信对大家在日后的工作中能带来很大的帮助。 浅谈 chukwa 在数据收集处理方面的应用 数据收集一直以来都是一个很重要的话题，在各行各业中，有各种方式在进行着数据收集工作，而本篇将要介绍的是与 Hadoop 集成的数据收集工具 Chukwa，它有几个非常吸引人的特点：它架构清晰，部署简单；收集的数据类型广泛，具有很强的扩展性；与 Hadoop 无缝集成，能完成海量数据的收集与整理。本文将从最基本的概念讲起，随后将逐步介绍如何搭建一个功能强大的数据收集平台。相信对大家在日后的工作中能带来很大的帮助。 浅谈 chukwa 在数据收集处理方面的应用 数据收集一直以来都是一个很重要的话题，在各行各业中，有各种方式在进行着数据收集工作，而本篇将要介绍的是与 Hadoop 集成的数据收集工具 Chukwa，它有几个非常吸引人的特点：它架构清晰，部署简单；收集的数据类型广泛，具有很强的扩展性；与 Hadoop 无缝集成，能完成海量数据的收集与整理。本文将从最基本的概念讲起，随后将逐步介绍如何搭建一个功能强大的数据收集平台。相信对大家在日后的工作中能带来很大的帮助。 评论： 李 平, 软件开发工程师, IBM 关闭 [x] 李平，具有 6 年从业经验的软件开发人员，现就职于 IBM CDL。从事多年 J2EE 及相关技术工作。 2011 年 9 月 23 日 hukwa 简介 什么是 Chukwa，简单的说它是一个数据收集系统，它可以将各种各样类型的数据收集成适合 Hadoop 处理的文件保存在 HDFS 中供 Hadoop 进行各种 MapReduce 操作。Chukwa 本身也提供了很多内置的功能，帮助我们进行数据的收集和整理。Chukwa 应用场景介绍 为了更加简单直观的展示 Chukwa，我们先来看一个假设的场景。假设我们有一个规模很大 ( 牵扯到 Hadoop 的总是很大。。。。) 的网站，网站每天产生数量庞大的日志文件，要收集，分析这些日志文件可不是件容易的事情，读者可能会想了，做这种事情 Hadoop 挺合适的，很多大型网站都在用，那么问题来了，分散在各个节点的数据怎么收集，收集到的数据如果有重复数据怎么处理，如何与 Hadoop 集成。如果自己编写代码完成这个过程，一来需要花费不小的精力，二来不可避免的会引入 Bug。这里就是我们 Chukwa 发挥作用的时候了，Chukwa 是一个开源的软件，有很多聪明的开发者在贡献着自己的智慧。它可以帮助我们在各个节点实时监控日志文件的变化，增量的将文件内容写入 HDFS，同时还可以将数据去除重复，排序等，这时 Hadoop 从 HDFS 中拿到的文件已经是 SequenceFile 了。无需任何转换过程，中间繁杂的过程都由 Chukwa 帮我们完成了。是不是很省心呢。这里我们仅仅举了一个应用的例子，它还可以帮我们监控来自 Socket 的数据，甚至定时执行我们指定的命令获取输出数据，等等，具体的可以参看 Chukwa 官方文档。如果这些还不够，我们还可以自己定义自己的适配器来完成更加高级的功能。稍后我们将看到如何定义自己的适配器来做自己想做的事情。怎么样，是不是有些心动了呢。 Chukwa 的架构设计 前面我们简单说了他的一些用途，讲的比较概括，大家不一定能明白，它到底是怎么帮助我们完成功能的，下来我们就先从他的架构设计角度来看看。我们依然先看一张图。 图 1. 架构示意图 我们还是以刚