培训认证课程介绍.PDFVIP

培训认证课程介绍 星环信息科技(上海)有限公司 二〇一八年八月 星环培训认证课程介绍 星环培训认证体系由大数据培训和人工智能培训两部分构成。大数据培训为 1+N+1 模式，其中前面的 1 为基础部分，即大数据平台数据工程师培训，N 为大 数据平台开发工程师N 个方向的培训，目前已开设的包括数仓与数集、实时流处 理、搜索与检索培训，后续会增设图计算与图检索等培训，后面的1 为架构师培 训。人工智能培训目前开设了AI 工程师培训，后续会增设其他培训。 大数据 大数据平台数据工程师 概述 本课程的内容涵盖了Hadoop 生态圈介绍、大数据平台部署以及星环大数据平台 组件介绍。Hadoop 生态圈介绍包括HDFS、MapReduce、Spark、Yarn 等组件，主 要从原理、操作方面进行讲解；大数据平台部署包括：软硬件要求、角色分配、 平台部署；星环大数据平台四大组件：Inceptor、Hyperbase、Slipstream、Search， 主要从组件的架构原理、安装、配置、运维等方面进行讲解。 时间 4 天授课，1 天考试 动手实验 通过Transwarp Manager 对大数据平台实现安装、配置、监控 分布式存储HDFS 上的文件操作及运维命令 如何使用Flume、Sqoop 对外部数据进行导入 在Yarn 上如何运行、调度MR、Spark 任务 如何通过Inceptor 实现SQL on Hadoop 分布式下的事务操作 Hyperbase 数据库的索引应用 星环平台下的SQL 流处理 授课对象预备技能 运维实施工程师、系统管理员、IT 项目经理 熟练使用linux，了解SQL 语法及数据库基本概念 课程大纲  星环大数据平台介绍  分布式存储HDFS ◼ HDFS 的特点 ◼ 内部角色NameNode 与DataNode ◼ 文件的可靠性存储 ◼ 解析文件读写过程 ◼ Client 操作HDFS 的常用命令 ◼ 运维管理HDFS  分布式资源调度Yarn ◼ Yarn 架构与Resource Manager、Node Manager ◼ 分布式资源封装与管理 ◼ Yarn 下的调度器策略 ◼ 解析作业提交执行过程  分布式计算框架 ◼ MapReduce 特点 ◼ 解析Mapper—Reducer 运行机制 ◼ 高性能的计算框架Spark ◼ 弹性分布式数据集RDD 与DAG  NoSQL 数据库Hyperbase ◼ Hyperbase 中的数据模型 ◼ 架构与Master、RegionServer ◼ 数据读写流程 ◼ 非结构化数据存储Object Store 简介 ◼ 丰富的索引组合 ◼ SQL for Elastic Search  SQL 最完善的执行引擎Inceptor ◼ 组成架构介绍 ◼ SQL 语法介绍之DDL ◼ SQL 语法介绍之DML ◼ SQL 语法介绍之DQL ◼ 存储过程介绍 ◼ 大数据量下的通用优化策略 ◼ 各种表的总结与应用场景选择  大数据平台流处理StreamSQL ◼ 流处理概念 ◼ SQL 定义语法  集群规划与运维诊断  总结 课程表 时间 主题 课程 (9:30-17:30) Hadoop 生态圈概述 第一天 Hadoop 生态圈 分布式存储HDFS