原创力文档- 1、原创力文档（book118）网站文档一经付费（服务费），不意味着购买了该文档的版权，仅供个人/单位学习、研究之用，不得用于商业用途，未经授权，严禁复制、发行、汇编、翻译或者网络传播等，侵权必究。。
- 2、本站所有内容均由合作方或网友上传，本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺！文档内容仅供研究参考，付费前请自行鉴别。如您付费，意味着您自己接受本站规则且自行承担风险，本站不退款、不进行额外附加服务；查看《如何避免下载的几个坑》。如果您已付费下载过本站文档，您可以点击 这里二次下载。
- 3、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等，请点击“版权申诉”（推荐），也可以打举报电话：400-050-0827(电话支持时间：9:00-18:30)。
- 4、该文档为VIP文档，如果想要下载，成为VIP会员后，下载免费。
- 5、成为VIP后，下载本文档将扣除1次下载权益。下载后，不支持退款、换文档。如有疑问请联系我们。
- 6、成为VIP后，您将拥有八大权益，权益包括：VIP文档下载权益、阅读免打扰、文档格式转换、高级专利检索、专属身份标志、高级客服、多端互通、版权登记。
- 7、VIP文档为合作方或网友上传，每下载1次， 网站将根据用户上传文档的质量评分、类型等，对文档贡献者给予高额补贴、流量扶持。如果你也想贡献VIP文档。上传文档
数栖·离线开发用户手册
产品介绍
概述
离线开发是数栖平台提供的一站式大数据开发环境，提供了数据同步、数据开发、发布管理、运维监控的全链路解决方案，可用于构建PB级别的数据仓库，实现超大规模数据集成，通过对数据价值的深度挖掘，实现数据的资产化。
整体功能架构如下图所示：
名词解释
业务流程
业务流程根据业务种类将一批作业组织在一起，并在数据开发过程中以业务为单元开发代码。业务流程内的作业节点可以相互依赖，不同业务流程之间的作业节点也能跨流程依赖。
作业
作业(Job)是平台的最小运行单元，目前支持Shell、Hive、Spark、SparkSQL、DDL等多种作业类型。作业包含离线作业和临时作业，其中临时作业是一种特殊的作业，用于一次性查询或分析数据，因此不支持调度和基线配置。
版本号
版本号是作业版本的标示号，用于记录跟踪维护作业版本的变更情况。方便管理日常的发布和异常情况的应急预案。
资源文件
资源文件是指用户上传的文件，可被用于作业、函数开发中。常见的资源文件类型如：jar、txt、python。
函数
函数(Function)指Hive、Spark等系统中的函数。除计算引擎内置的函数外，平台支持用户创建基于Hive的自定义函数(UserDefinedFunction，以下简称UDF)，并可直接用于Hive或SparkSQL类型的作业中
实例
实例(Instance)指的是作业实例，作业的每次运行都会产生一个新实例。实例正常运行会经历待运行(Waiting)、运行(Running)、结束(Finished)三个阶段。
例如对于作业A，两次运行产生的实例ID分别是:T_630_20180301115903046_1、T_630_20180301120009801_1。
补数据
补数据指的是当生产环境的任务可能由于资源不够、上游失败等导致未运行，或由于发生异常，可通过手动补数据来运行任务跑历史数据或对以前的数据重新进行计算。
首页
进入数据开发首页，支持以整体视角查看项目概况。首页包括以下指标信息：
序号
指标
说明
1
统计指标卡
显示项目基础信息并统计项目成员数、项目环境数、数据源数、资源组数。
2
总数变化趋势图
默认展示近7天的开发环境的作业数变化趋势，可选择近7天、近15天、近30天。
开发中心
在项目列表中，点击进入数据开发，然后点击离线开发，可进入离线开发中心页面。
界面功能
本文为您介绍开发中心界面各按钮的功能。
导航栏
进入离线开发，查看页面左侧的导航栏。单击左上角的图标，即可展开或折叠左侧导航栏。
功能
描述
离线作业
离线作业模块中支持创建业务流程和离线作业并提交到调度。
临时作业
临时作业模块中创建的所有作业都需要手动触发，无法通过调度执行。
资源文件
资源文件模块中管理所有上传的资源文件。
函数开发
函数开发模块中可查看当前可以使用的函数、函数的使用说明，并支持创建自定义函数。
表管理
表管理模块中支持查看当前环境下所有创建的Hive表。
开发设置
开发设置支持对离线开发的作业类型、资源文件和操作进行设置。
工具栏
序号
功能
描述
1
刷新
刷新当前目录树列表
2
新建
新建快捷入口，支持新建业务流程、离线作业、临时作业、表、资源文件、函数
3
搜索
搜索当前目录树对象，包括离线作业、临时作业、资源文件、表
业务流程界面功能点
序号
功能
描述
1
运行
运行业务流程
2
停止
当业务流程运行时，停止运行
3
保存
保存业务流程配置
4
提交
点击提交按钮，可批量提交该工作流下新增或修改的作业
5
运维
点击运维，可跳转到运维中心并查看该业务流下作业调度情况
6
属性配置
可查看并配置业务流程基本属性
7
刷新
刷新业务流程
8
放大
放大依赖关系图
9
缩小
缩小依赖关系图
10
项目根节点
默认项目根节点，所有业务流程下都默认显示该根节点
11
组件节点
可将组件节点拖入画布，在该业务流下创建作业
SQL作业界面功能点
序号
功能
描述
1
运行
运行当前作业
2
停止
当前作业运行时，停止作业
3
保存
保存当前作业代码及配置
4
提交
提交当前作业到调度中心
5
格式化
格式化当前作业代码，常用于单行代码过长的情况
6
代码检查
检查代码语句是否正确
7
风格
设置编辑器风格
8
解锁
点击解锁后，其他用户可抢锁，管理员可强制解锁
9
锁定
作业被自己锁定后，才可编辑
10
提交状态
提交后显示已提交+版本号，发布后显示已发布+版本号
11
属性设置
可配置作业的基本属性、运行参数、资源依赖、基线配置
12
调度设置
可配置作业的调度属性和上游依赖
脚本作业界面功能点
序号
功能
描述
1
运行
运行当前作业
2
停止
当前作业运行时，停止作业
3
保存
保存当前作业代码及
文档评论（0）