数据仓库原理与实践 课件 第8章 任务调度.pptx

第8章任务调度(Dolphinscheduler)

8.1任务调度概述8.2调度框架的部署与配置8.3任务调度应用

引例思考面对海量数据进行数据计算，如何对成百上千的计算任务进行调度和管理，提高计算集群的资源管理和利用效率，合理分配资源，对企业来说是一种挑战。请思考：(1)具体技术场景如何，具备哪些特点?(2)如何进行技术选型？(3)大量的计算任务如何调度、管理和监控？Dolphinscheduler配置Dolphinscheduler部署任务调度介绍任务调度概述Dolphinscheduler调度框架调度应用任务调度应用任务调度调度框架的部署与配置

任务调度概述8.1

任务调度概述任务调度系统是计算机系统中的一个重要组成部分，它负责在多个计算节点上有效地调度和执行各种类型的任务。任务调度系统主要对任务的执行进行调度和管理，定义任务的规则和属性，对任务的执行顺序和逻辑进行编排，确保任务的高效执行。随着大数据和云计算技术的不断发展，任务调度系统将面临更多挑战和机遇。未来，任务调度系统可能会更加智能化和自动化，能够更高效地利用计算资源，支持更复杂的任务依赖关系和分布式任务调度。任务调度特点灵活性高效性可扩展性可视化

任务调度框架任务调度框架是软件开发中用于管理和执行定时任务的重要工具。它们允许开发者在指定的时间或按照特定的规则自动执行一系列任务，从而优化资源利用、提高工作效率。常用调度框架介绍ApacheDolphinScheduler（也常被称为dolphinsheduler）是一个分布式易扩展的可视化DAG（DirectedAcyclicGraph，有向无环图）工作流任务调度开源系统，旨在解决复杂的大数据任务依赖关系，为应用程序提供数据和各种OPS编排中的关系。它提供了一个可视化操作任务、工作流和全生命周期数据处理过程的解决方案，帮助用户实时监控任务的执行状态，并支持重试、指定节点恢复失败、暂停、恢复、终止任务等操作。Quartz是OpenSymphony开源组织在Jobscheduling领域的一个开源项目，完全由Java开发。它是一个功能强大且成熟的任务调度框架，提供了丰富的调度功能和灵活的API。XXL-JOB是一个专注于分布式任务调度的平台，支持多种编程语言（包括Java、Python、PHP等）和丰富的管理界面及监控功能。Elastic-Job是一个基于Quartz的分布式任务调度解决方案，它提供了更为复杂和灵活的调度功能。

任务调度框架ApacheDolphinScheduler是一个开源的分布式大数据流程调度系统，旨在解决复杂的数据依赖处理流程中的调度问题。DolphinScheduler提供了丰富的功能，包括跨数据中心的工作流任务调度、资源管理、任务依赖管理、任务优先级控制、失败任务重试/警报、Kerberos权限验证等。DolphinScheduler通过提供简单易用的调度流程设计界面，以及支持丰富任务类型的能力，极大地提高了工作流任务调度的效率和可靠性，广泛应用于数据仓库的构建、数据预处理、数据分析等场景。

调度框架的部署与配置8.2

调度框架部署DolphinScheduler的部署过程是一个涉及多个步骤和组件配置的系统化流程，主要包括环境准备、下载与解压、修改配置文件、初始化数据库、启动服务、验证部署等环节。环境准备(1)硬件资源：根据集群规模和任务负载，合理配置CPU、内存和存储资源。(2)软件依赖：JDK、MySQL5.x+、Zookeeper等。下载与解压(1)下载最新版本的安装包。(2)将安装包解压到指定目录并设置系统环境变量。修改配置文件(1)修改配置文件（如install_config.conf、dolphinscheduler_env.sh等）。(2)参数配置：数据库相关、资源配置相关、服务配置相关等验证部署(1)通过访问DolphinScheduler的Web界面，验证服务是否正常运行。(2)创建并运行一个简单的任务流，以测试系统的功能。启动服务(1)在每个节点上启动DolphinScheduler服务。(2)检查服务启动日志，确保没有错误发生。初始化数据库(1)创建DolphinScheduler所需的数据库和用户。(2)执行DolphinScheduler提供的数据库初始化脚本，创建所需的表和视图。

调度框架配置DolphinScheduler的配置参数主要涉及数据库相关配置、资源类相关配置和服务相关配置。数据库相关数据库相关的主要配置参数，具体包括了数据库类型、数据库连接参数、用户密码等内容。示例#数据库类型dbtype=mysql#