Hadoop应用开发-Hadoop实战案例.pptVIP

* 知识点回顾 Hadoop集群管理地挑战 CDH与Cloudera Manager概述 Cloudera Manager和CDH离线安装部署 集群部署规划 安装前地准备工作 CM安装与配置 CDH部署 CM搭建Hadoop集群 启用高可用 Cloudera Manager地功能 其它商业发行版 * 本讲知识点 Apache Avro 案例一：Avro文件合并多目录输出 案例二：网页域名分区统计 案例三：电商平台商品评价数据分析 * Apache Avro Apache Avro（以下简称Avro）是一个数据序列化系统,是一个基于二进制数据传输高性能地中间件,可以将数据结构或对象转化成便于存储或传输地格式。 Avro提供地主要功能： 丰富地数据结构。 一种紧凑,快速地二进制数据格式。 容器文件,用于存储持久性数据。 远程过程调用（RPC）。 与动态语言地简单集成。读取或写入数据文件,使用或实现RPC协议均不需求代码生成。代码生成是可选地优化,仅对于静态类型地语言值得实现。 * Apache Avro Avro支持跨编程语言实现（C, C++, C#,Java, Python, Ruby与 PHP）,但Avro依赖于Schema。 将Avro数据存储在文件中时,其Schema也会随之存储,这就使得任何程序都可以处理文件。 Avro Schema是使用JSON定义地,它由基本类型与复杂