大数据技术原理及应用.pdfVIP

大数据技术原理及应用 大数据处理架构— Hadoop简介 Hadoop项目包括了很多子项目，结构如下图 Common 原名： Core，包含 HDFS,MapReduce和其他公共项目，从 Hadoop0.21 版本后， HDFS和 MapReduce分离出去，其余部分内容构成 HadoopCommon。Common为其他子项目提供支持的常用工具，主要包 括文件系统、 RPC(Remoteprocedurecall) 和串行化库。 Avro Avro 是用于数据序列化的系统。它提供了丰富的数据结构类型、快 速可压缩的二进制数据格式、存储持久性数据的文件集、远程调用 RPC的功能和简单的动态语言集成功能。其中，代码生成器既不需要 读写文件数据， 也不需要使用或实现 RPC协议，它只是一个可选的对 静态类型语言的实现。 Avro 系统依赖于模式（ Schema），Avro 数据的 读和写是在模式之下完成的。 这样就可以减少写入数据的开销， 提高 序列化的速度并缩减其大小。 Avro 可以将数据结构或对象转化成便于存储和传