大数据Oozie架构原理.pdf

Oozie架构原理 Copyright © 2010 Huawei Technologies Co., Ltd. All rights reserved. 目录 1. Oozie介绍 2. Oozie架构与实现原理 3. Oozie 基本功能 4. Oozie 操作说明 Copyright © 2010 Huawei Technologies Co., Ltd. All rights reserved. Page 1 1.1 What is Oozie? A workflow scheduler system to manage Apache Hadoop jobs. • 基于工作流引擎的开源框架 • 运行在tomcat容器中 • 使用数据库存储工作流定义和实例 • 支持多种类型的Hadoop作业调度 Copyright © 2010 Huawei Technologies Co., Ltd. All rights reserved. Page 2 1.2 版本说明 4.0.1 4.1.0 4.2.0 2014/03/31 2014/12/05 2015/05/30 Oozie当前使用版本 新特性： 新特性： 1. 支持hadoop版本0.23.X及以上 1. 支持hive server2 改进、优化、 修复：约 2. 支持SPARK 2. BUG 250 3. Provide a wait tool in Oozie 改进、优化、 修改：约 4. BUG 140 Copyright © 2010 Huawei Technologies Co., Ltd. All rights reserved. Page 3 1.3 环境要求  Unix box (tested on Mac OS X and Linux)  Java JDK 1.6+  Maven 3.0.1+  Hadoop 0.20.2+  Pig 0.7+  JDK commands (java, javac) must be in the command path.  The Maven command (mvn) must be in the command path. 说明: FusionInsight C50 安装完成后默认满足以上要求 Copyright © 2010 Huawei Technologies Co., Ltd. All rights reserved. Page 4 目录 1. Oozie介绍 2. Oozie架构与实现原理 3. Oozie 基本功能 4. Oozie 操作说明 Copyright © 2010 Huawei Technologies Co., Ltd. All rights reserved. Page 5 2.1 架构 Console 提供对Oozie流程的查看和监控功能。 Client 通过接口控制workflow流程：可以执行提交流程，启动流程，运行流程，种植流程，恢复流 程等操作。