Cronhub 开源的时间调度系统-马晨精选.ppt

技术方案选型 技术选型 整个项目采用java语言开发 Thrift – 底层通信 本地命令执行– apache commons exec 数据库– mysql 整个系统架构设计采用的架构设计原则 —同样或相似功能代码出现的重复次数越少越好。 Keep it in mind in programming. 几个概念 一、宏观 1. daemon 这个系统里的daemon是指真正在各个机器上被调度执行的daemon进程。（或许叫slave更合适） 2.center server 在这个系统里图中中央的那个服务器，负责配置各个daemon机器的crontab，并提供一个web界面可供查看和配置。 几个概念 二、用户操作 1.daemon 负责新增加入，配置新机器或管理已有机器的daemon程序，并负责通信检测 2.task 负责分别为每个daemon程序“分派crontab任务”，由用户填入表单配置。 3.record 做记录是个好习惯，将每日的“未完成”，“已完成”的调度结果都记录下来。 可供用户查看或失败时点击“重新执行”。 （系统也提供了自动重执行失败任务，并提供了重试截止次数配置） 啥也不说，上图上demo – 也可访问：/ 图2 Daemon端 Task任务添加 添加任务后可以点击当场执行 执行后与执行中 任务未完成列表 执行结果可供筛选查看 TODO 单例进程 源于爬虫开发和数据挖掘某些开发的一些经验，需要单例进程这个功能。上次没执行完的进程这次不开始。 杀死进程 杀死进程功能位于未完成列表上面的一个按钮。 超时设置 命令执行超过指定时长应该报警，以及标志已经失败。 LOGO LOGO * Cronhub 开源的时间调度系统 -- 马晨 Email：sharpstill@163.com phone项目网址: Page ? * 解决问题与需求 1 、大量的crontab管理起来好烦人 任务老是没按时执行，各种原因失败，真让人抓狂。 2、多台服务器环境下，管理crontab更是烦上加烦，登陆每台机器查看crontab结果不是折磨一贯偷懒的程序员吗？ 3、要是能有个自动化管理，可供的GUI界面管理就好了。 Page ? * 设计初衷 1、源自暴风影音内部的数据组的每日定时跑的大量机器环境下的数据任务管理需求。 2、做一个“真正通用”，“真正解决日常需求”的时间调度系统。 3、秉承UNIX工具哲学： “就做一件事情，且把他做到最好。” LOGO LOGO *