2025 年 Apache DolphinScheduler 案例精选集.docxVIP

0

2025年ApacheDolphinScheduler案例精选集

目录

序言 1

案例1：奇虎360商业化ApacheDolphinScheduleronKubernetes的部署改造实

践 2

案例2：从数据血缘到AIAgent：天翼云×ApacheDolphinScheduler的云上调度

实践 5

案例3：从批到流：Zoom基于ApacheDolphinScheduler的流批统一调度系统演进

8

案例4：网易邮箱ApacheDolphinScheduler迁移实战：从部署到优化的企业级调度

升级之路 12

案例5：1天部署数十个工厂：ApacheDolphinScheduler在智能制造场景下的规模

化实践 17

案例6：百年博世的智能驾驶调度升级：ApacheDolphinScheduler在AI数据处理

中的实践 20

加入社区 24

2

案例1：奇虎360商业化ApacheDolphinScheduleronKubernetes的部署改造实践

作者：王远朋奇虎360科技数据专家

关键词：容器化调度镜像分层Helm运维版本治理云原生演进

ApacheDolphinScheduler已成为奇虎360商业化生产环境中最重要的调度系统之一。过去三年中，我们逐步将部分调度任务从Azkaban迁移至

DolphinScheduler，并在2025年将版本升级至3.2.2，同时完成了在Kubernetes（K8s）上的阶段性部署。本文结合真实生产实践，总结迁移过程中的关键技术点与经验教训。

迁移动机

早期DolphinScheduler（3.1.9）部署在物理机环境中。随着任务规模增长，物理机在弹性扩缩容、资源隔离以及发布回滚方面逐渐暴露出不足。Kubernetes提供的容器隔离、自动扩容和声明式部署能力，更适合高并发、多任务的调度场景，因此我们选择在升级版本的同时推进K8s化改造。

镜像构建经验

迁移的第一步是镜像构建。我们采用基础镜像与模块镜像分离的方式，在基础镜像中统一集成Hadoop、Spark、Flink、Python等运行环境，再构建

DolphinScheduler各模块镜像。

3

实践中发现，镜像阶段的问题往往影响最深：基础镜像体积过大会显著拉长构建时间；自编译jar未覆盖旧包容易引发运行异常；MySQL驱动需要正确链接到所有模块；不同模块端口和启动脚本必须保持一致。镜像构建应尽量标准化，减少不必要的定制。

部署方式选择

最初我们通过手写KubernetesYAML文件进行部署，但随着配置复杂度提升，可维护性迅速下降。随后切换至官方HelmChart，将配置集中在values.yaml中管理，显著降低了部署和升级成本。

在生产环境中，需要特别注意关闭内置MySQL和Zookeeper，统一使用外部服务；共享存储必须支持ReadWriteMany；HDFS、LDAP等配置需与集群环境严格一致。实践表明，多数部署问题都源于配置细节不一致。

运维与升级挑战

相比部署本身，长期维护更具挑战性。由于早期对源码和镜像进行了定制化修改，每次社区版本升级都需要重新对比差异、重建镜像并进行完整测试。同时，不同版本间Helm配置项的变化，也增加了升级风险和运维成本。

4

总结与展望

通过本次迁移，我们逐渐形成共识：在Kubernetes环境中应优先遵循社区标准，尽量减少定制化。后续将逐步采用官方镜像，引入CI/CD流程，并结合

Prometheus与Grafana构建可观测体系。

总体而言，Kubernetes显著提升了DolphinScheduler的弹性、扩展性和环境一致性，为构建高可用、低运维成本的调度平台奠定了基础。

完整案例：/s/RTSmR0ZMoXTa4z1oSGuCEg

5

案例2：从数据血缘到AIAgent：天翼云×ApacheDolphinScheduler的云上调度实践

作者：陆小龙天翼云研发专家，ApacheLinkisCommitter，ApacheDolphinSchedulerContributor

关键词：云上调度数据血缘社区共建二次开发AgenticAI

背景与挑战

在数据驱动与智能化持续深化的背景下，数据调度