hadoop大数据平台实战.docVIP

“Hadoop大数据系统理论与实践”培训班 各企事业单位： 随着互联网、移动互联网和物联网的发展，我们已经切实地迎来了一个大数据的时代。大数据是指无法在一定时间内用常规软件工具对其内容进行抓取、管理和处理的数据集合，对大数据的分析已经成为一个非常重要且紧迫的需求。目前对大数据的分析工具，首选的是Hadoop平台。Hadoop在可伸缩性、健壮性、计算性能和成本上具有无可替代的优势，事实上已成为当前互联网企业主流的大数据分析平台。为解决广大系统设计人员深入研究与开发大数据技术的需要，中国管理科学研究院职业资格认证培训中心特举办“Hadoop大数据系统理论与实践”培训班，并由北京盛博国科企业管理顾问有限公司具体承办；具体事宜通知如下： 一、培训目标： 1. 全面了解大数据处理技术的相关知识； 2. 学习Hadoop的核心技术方法以及应用特征； 3. 深入使用Hadoop相关工具在大数据中的使用。 二、时间地点： 2014年12月04 日——2014年12月07日 北京 （第一天报到、授课三天） 三、主讲专家： 主讲老师长期从事大数据处理、hadoop云计算领域的教学及科研，并主持国家973、863等重大项目，并自主编写大数据处理、hadoop相关书籍，具有资深的技术底蕴和专业背景。 四、培训方式: 1、课程讲座； 2、案例讲解分析； 3、上机操作； 五、培训对象： 1. 牵涉到大数据处理的数据中心运行、规划、设计负责人；2.高校、科研院所及企事业单位牵涉到大数据与分布式数据处理的项目负责人；系统架构师、系统分析师、高级程序员、资深开发人员；3. Hadoop所有爱好者 主办单位： 承办单位： 中国管理科学研究院职业资格认证培训中心 北京盛博国科企业管理顾问有限公司 2014年10月24日 2014年10月24日 六、培训大纲： Hadoop大数据系统理论与实践课程大纲 第一天：hadoop基础 1、大数据架构概述 1.1 大数据层级结构——介绍大数据系统基本架构与流程 1.2 Hadoop生态系统概述以及版本演化 概要介绍Hadoop生态系统及其版本演化历史，并给出hadoop版本选择建议。 1.3 Spark生态系统概述 概要介绍Spark生态系统及其特点，并与Hadoop对比 2、数据收集系统Flume与Sqoop 介绍如何使用flume和sqoop两个系统将外部流式数据（比如网站日志，用户行为数据等）、关系型数据库（比如MySQL、Oracle等）中的数据导入Hadoop中进行分析和挖掘 3、Hadoop环境搭建（上机操作） 设计搭建搭建HDFS, MapReduce和YARN等系统的环境 第二天：分布式存储和资源管理 1.大数据存储系统HDFS与HBase 1.1 HDFS 2.0 原理、特性与基本架构 理论：介绍HDFS 2.0原理与架构，并与HDFS 1.0进行对比。介绍HDFS 2.0新特性，包括快照、缓存、异构存储架构等 实践：如何使用HDFS1.2 HBase原理，基本架构与案例分析 理论：介绍HBase应用场景、原理和架构，介绍几个HBase典型应用案例，包括互联网应用案例和银行应用案例。 实践：如何使用HBase 2. 资源管理和调度系统理论 介绍 YARN应用场景、基本架构与资源调度 实践：编写运行在YARN上的应用程序 第三天：分布式计算 介绍主流的三大类大数据计算框架，分别是批处理、交互式计算和流式计算框架，并选取当下主流的开源实现进行介绍。 1. MapReduce 基本原理与架构，编程实践（涉及多语言编程） 理论：介绍计算框架MapReduce基本原理与架构 实践：手把手介绍如何用java、C++、php等语言编写MapReduce程序 2. Spark计算框架 理论：介绍Spark背景，使用以及应用案例 实践：使用spark进行数据分析 七、培训费用： 每人3900元（含报名费、培训费、资料费、考试费、证书费、午餐费）住宿可统一安排，费用自理。 八、颁发证书： 参加相关培训并通过考试的学员，可以获得： 1． 中国管理科学研究院职业资格认证培训中心“高级大数据处理工程师”相关证书。 2. 经培训考试合格后颁发人力资源和社会保障部高级公务员培训中心“大数据处理工程师”证书。 注：请学员带寸彩照2张、身份证复印件张。