azkaban技术分享手册.pdf

简介 azkaban 是LinkedIn 开发的一个批处理工作流作业调度器，用于允许处理hadoop 任务等；azkaban 通过依赖关系解决了多个job 的顺序，并提供了一个易于使用的web 用户界面维护和跟踪你的工作流。 其特性如下：  兼容hadoop 的任何版本  简易的web 界面管理  支持作业web 上传及Ajax 上传  支持任务定时执行  系统模块化和可插拔的插件机制  支持用户认证及权限验证、及自定义权限管理功能  可跟踪并记录用户操作  支持邮件提示  按照SLA 执行报警和杀作业  支持job 失败重试，并能够杀死并重启job  支持工作流和任务的日志记录和审计 核心组件及模式 Azkaban 有三个核心组件：  Relational Database (MySQL) ( solo server mode 模式是基于H2)  AzkabanWebServer  AzkabanExecutorServer Azkaban3.0 中三种模式：  Solo-server 模式 DB 是嵌入的H2 数据库，适用于执行简单的小规模的job 用例  Two server 模式：该模式适用生产环境使用，其与主从数据库支持MySQL 实例设置。web 服务器和执行人 服务器运行在不同的进程中,升级和维护不影响用户。  Multi-server 模式：该模式适用接近生产环境使用，其与主从数据库支持MySQL 实例设置。web 服务器和 执行人服务器运行在不同的机器上,升级和维护不影响用户。多个机器组成的分布式集群，可以保证系统的 健壮性和伸缩性 系统时区配置 1.查看时区 [xxx@single azkaban-web-2.5.0]$ more /etc/sysconfig/clock ZONE="Asia/Shanghai" UTC=true ARC=false 2.修改时区 时区文件都在/usr/share/zoneinfo，复制相应时区覆盖/etc/localtime 即可 [lijia@single azkaban-web-2.5.0]$ ll /usr/share/zoneinfo cp /usr/share/zoneinfo/Asia/Shanghai /etc/localtime *修改web server 和excutor server 都需要配置时区，必须和系统时区一致 default.timezone.id=Asia/Shanghai 安装 安装mysql 暂略,具体请参考<< CDH5.4.7 离线安装手册.doc>>中mysql 安装模块 配置mysql 下载mysql 数据脚本、 wget /azkaban2/azkaban2/2.5.0/azkaban-sql-script-2.5.0.tar.gz tar -zxvf azkaban-sql-script-2.5.0.tar.gz –C ~/azkaban/ 创建用户、分配权限并执行脚本  mysql –uroot –pxxxx  创建数据库: CREATE DATABASE azkaban;  创建用户名：CREATE USER 'azkaban'@'%' IDENTIFIED BY 'azkaban'  分 配 权 限 ： GRANT SELECT,INSERT,UPDATE,DELETE,CREATE,INDEX ON `azkaban`.* TO 'azkaban'@'%' WITH GRANT OPTION; flush privileges； quit;  通过azkaban 账号登录mysql：mysql –uazkaban –pazkaban Use azkaban; source ~/azkaban/azkaban-2.5.0/create-all-sql-2.5.0.sql Azkaban Web Server 安装 1.下载安装包 wget /azkaban2/azkaban2/2.5.0/azkaban-web-server-2.5.0.tar.gz tar –zxvf azkaban-web-server-2.5.0.tar.gz –C ~/azkaban/ 2.上传依赖包 上传mysql 驱动包至 ~/az