xxl-job源码阅读及理解

通过这几天对xxl-job源码的解读,已基本搞清楚大致流程,;

对于官方文档上的特性,作一点自己的理解

Features

1、简单:支持通过Web页面对任务进行CRUD操作,操作简单,一分钟上手;

ME:有配置界面,比较简单

2、动态:支持动态修改任务状态、暂停/恢复任务,以及终止运行中任务,即时生效;

ME:通过界面直接调用API,对任务进行管

3、调度中心HA(中心式):调度采用中心式设计,“调度中心”基于集群Quartz实现并支持集群部署,可保证调度中心HA;

ME:调度的核心是quartz, 只是重写了其中的Job; 通过数据库悲观锁来实现任务在集群的多台机器中只执行一次

4、执行器HA(分布式):任务分布式执行,任务"执行器"支持集群部署,可保证任务执行HA;

ME:执行器是指业务所在服务器,现在的架构,一般应用都会进行集群部署

5、注册中心: 执行器会周期性自动注册任务, 调度中心将会自动发现注册的任务并触发执行。同时,也支持手动录入执行器地址;

ME:执行器每隔30S进行一次服务注册,调度中心也是每隔30s执行一次,对每一个任务相关的执行器进行上下线处理

6、弹性扩容缩容:一旦有新执行器机器上线或者下线,下次调度时将会重新分配任务;

ME:根据任务的路由策略来定

7、路由策略:执行器集群部署时提供丰富的路由策略,包括:第一个、最后一个、轮询、随机、一致性HASH、最不经常使用、最近最久未使用、故障转移、忙碌转移等;

ME:因为一个任务会有多个执行器与之注册关联,路由策略就是从多个执行器中选择一个执行器进行调度(分片广播时,所有的执行器都会被调度一次);

8、故障转移:任务路由策略选择"故障转移"情况下,如果执行器集群中某一台机器故障,将会自动Failover切换到一台正常的执行器发送调度请求。

ME:这个是在调度时会遍历每一个执行器进行心跳测试,如果健康,直接使用这个执行器,不健康则继续对下一个执行器进行测试

9、阻塞处理策略:调度过于密集执行器来不及处理时的处理策略,策略包括:单机串行(默认)、丢弃后续调度、覆盖之前调度;

ME:当任务执行比较耗时,一次任务还没运行结束下一个调度又过来了

丢弃后续调度,会触发调度失败的告警

单机失败,有可能会导致执行器一直在执行任务

覆盖之前调度,有可能造成执行器线程开启过多

建议,调整好cron表达式,选择丢弃后续调度

10、任务超时控制:支持自定义任务超时时间,任务运行超时将会主动中断任务;

ME: tag1.9.1 暂未发现

11、任务失败重试:支持自定义任务失败重试次数,当任务失败时将会按照预设的失败重试次数主动进行重试;

ME: tag1.9.1 暂未发现

12、失败处理策略;调度失败时的处理策略,默认提供失败告警、失败重试等策略;

ME:失败告警,选与不选都会进行告警; 失败重试是指在调度失败时重试一次

13、分片广播任务:执行器集群部署时,任务路由策略选择"分片广播"情况下,一次任务调度将会广播触发集群中所有执行器执行一次任务,可根据分片参数开发分片任务;

ME:因为执行器的上下线检测任务在调度中心是每30s执行一次,因此有可能有延迟,造成分片信息不准确,建议业务那边控制分片信息

14、动态分片:分片广播任务以执行器为维度进行分片,支持动态扩容执行器集群从而动态增加分片数量,协同进行业务处理;在进行大数据量业务操作时可显著提升任务处理能力和速度。

ME:建议当作广播使用,毕竟分片信息可能不那么准确

15、事件触发:除了"Cron方式"和"任务依赖方式"触发任务执行之外,支持基于事件的触发任务方式。调度中心提供触发任务单次执行的API服务,可根据业务事件灵活触发。

ME:有API能过http直接调用

16、任务进度监控:支持实时监控任务进度;

ME: tag1.9.1 暂未发现

17、Rolling实时日志:支持在线查看调度结果,并且支持以Rolling方式实时查看执行器输出的完整的执行日志;

ME:调度结果存储在db里,确实可以随时查看,但执行器的日志是存储在执行器的磁盘文件中的,因此执行日志有可能丢失

18、GLUE:提供Web IDE,支持在线开发任务逻辑代码,动态发布,实时编译生效,省略部署上线的过程。支持30个版本的历史版本回溯。

ME:暂不会使用

19、脚本任务:支持以GLUE模式开发和运行脚本任务,包括Shell、Python、NodeJS等类型脚本;

ME:暂不会使用

20、任务依赖:支持配置子任务依赖,当父任务执行结束且执行成功后将会主动触发一次子任务的执行, 多个子任务用逗号分隔;

ME:可以触发,且触发时的调用也是基础的quartz scheduler调用,比较快

21、一致性:“调度中心”通过DB锁保证集群分布式调度的一致性, 一次任务调度只会触发一次执行;

ME:quartz本身的机制; 这个是指任务的路由策略选择了非 “分片广播”时的不会同时触发的特性;

22、自定义任务参数:支持在线配置调度任务入参,即时生效;

ME:调度时通过http请求,将参数实时传入

23、调度线程池:调度系统多线程触发调度运行,确保调度精确执行,不被堵塞;

ME:quartz本身的机制

24、数据加密:调度中心和执行器之间的通讯进行数据加密,提升调度信息安全性;

ME:可以通过统一设定调度中心的token,来实现; token本身未加密

25、邮件报警:任务失败时支持邮件报警,支持配置多邮件地址群发报警邮件;

ME:同意

26、推送maven中央仓库: 将会把最新稳定版推送到maven中央仓库, 方便用户接入和使用;

ME:同意

27、运行报表:支持实时查看运行数据,如任务数量、调度次数、执行器数量等;以及调度报表,如调度日期分布图,调度成功分布图等;

ME:同意

28、全异步:系统底层实现全部异步化,针对密集调度进行流量削峰,理论上支持任意时长任务的运行;

ME:同意,调度异步,执行时异步,回调通知结果异步

29、国际化:调度中心支持国际化设置,提供中文、英文两种可选语言,默认为中文;

ME:同意

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 158,117评论 4 360
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 66,963评论 1 290
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 107,897评论 0 240
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 43,805评论 0 203
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 52,208评论 3 286
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 40,535评论 1 216
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 31,797评论 2 311
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 30,493评论 0 197
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 34,215评论 1 241
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 30,477评论 2 244
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 31,988评论 1 258
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 28,325评论 2 252
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 32,971评论 3 235
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 26,055评论 0 8
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 26,807评论 0 194
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 35,544评论 2 271
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 35,455评论 2 266

推荐阅读更多精彩内容