西安软件园企业级Hadoop及Spark框架的大数据运用开发经验培训.pdfVIP

西安软件园 企业级Hadoop及Spark框架的大数据运用开 发经验培训 授课内容 丏题 内容 第一个丏题：互联 网大数据应用案例 深度解析 ? Hadoop 在互联网公司的应用案例解析 ● 互联网企业遇到大数据的问题 ● 案例分享：12306 大数据实践 ● 案例分享：淘宝飞天平台实践 ● 案例分享：微信红包大数据分析 ● 案例分享：春晚大数据案例分析 ? 大数据企业级平台选型方案 ● 开源方案：Hadoop，Spark ● 企业级方案：Oracle Exdata，IBM Biginsight ● 国内厂商：华为，浪潮，曙光相关的方案介绍 第二个丏题： Hadoop 生态系统 介绍和演示 ? Hadoop/Hive 对比 Oracle 在构建数据仓库上的优劣势 ? Hadoop 如何和传统 IT 系统配合完成原来不可能的任务 ? Hadoop 版本讲解及 Hadoop 新旧版本使用对比 ? Hadoop 工作原理及架构 Hadoop HDFS 和 MapReduce ? Hadoop 数据库之 HBase ● HBase 架构及如何应用与编程开发相结合 ? Hadoop 数据仓库之 Hive ● Hive 架构及如何应用与编程开发相结合 ? Hadoop 数据处理脚本 Pig ● Pig 架构及如何应用与编程开发相结合 ? Hadoop 数据接口 Sqoop 和 Flume ● Sqoop 和 Flume 架构及如何应用与编程开发相结合 ? Hadoop 工作流引擎 Oozie ● Oozie 架构及如何应用与编程开发相结合 Hadoop 生态系统各模块应用与编程开发相结合 案例及实验 ? 某银行如何使用 Hadoop 统一数据平台架构解析 ? 某电信企业 hadoop 平台案例解析 第三个丏题： Hadoop 2.0 ? 大数据基础理论介绍 ? Master/Slave 结构 ? 消息机制 ? RPC 原理 ? Hadoop 1.0 存在的问题及现有的解决方案 ? Hadoop 2.0 各厂商版本对比 ? Cloudera ? Hontorworks ? 华为等 ? Apahce and CDH4 ? Hadoop 2.0 项目结构解析 ? Hadoop 工作原理及架构 ? Hadoop HDFS 和 MapReduce ? Hadoop 集群规划 第四个丏题：动手 搭建 Hadoop 集群 及开发环境搭建 ? Hadoop 安装的前提条件 ? Java 环境 ? Linux 环境 ? SSH 环境 ? 防火墙环境 ? Hadoop 集群部署 ? 单机与伪分布式部署实现 ? 集群环境部署实现 ? Hadoop 开发环境搭建 第五个丏题：HDFS 原理及高级程序实 战演练（深入理解 HDFS） ? HDFS 架构及原理 ? HDFS NameNode、DataNode 解析 ? HDFS 副本机制块机制解析 ? HDFS 实战-命令行等使用 ? HDFS 命令行工具 ? 启动、停止 HDFS 服务 ? 如何查看 HDFS 日志 ? 如何查看 HDFS Web 控制台 ? HDFS 参数配置 案例及实验 ? HDFS 实战-Java API 使用 ? 基亍客户数据实际演示通过 HDFS 进行数据存储与管理 第六个丏题：HDFS 高级（深入理解与 使用 HDFS2.0特 色） ? HDFS HA 方案及环境搭建 ? HDFS Snapshot 机制分析及使用 ? HDFS Cache 机制分析及使用 第七个丏 题:Hadoop Yarn ? Yarn 与 MapReduce 的不同 ? Yarn 原理与架构 ? Apache YARN 基本框架 ? Apache YARN 工作流程 ? Apache YARN 设计细节 ? Yarn 核心技术模块原理解析 ? Yarn ResouceManager 原理解析 ? Yarn NodeManager 原理解析 ? Yarn ApplicationMaster ? MapReduce 与 YARN 结合 第八个丏题： Hadoop MapReduce 深入 解析 ? 使用 Hadoop MapReduce Streaming 编程 ? MapReduce 流程 ? 剖析一个 MapReduce 程序 ? 基本 MapReduceAPI 概念 ? MapReduce 的优化 ? MapReduce 的任务调度 ? MapReduce 编程实战