调度与监控-spring batch(7)结合xxl-job进行批处理

tags: springbatch


1.引言

经过前面几篇文章对Spring Batch的介绍,同时结合示例,从最简单的helloworld字符串输出,到读取文件到数据库的数据同步,然后是数据库到数据库,接着结合BeetlSql进一步简化数据库读写,再通过动态参数绑定实现增量同步,由浅到深,已经可以基本满足数据抽取,数据同步的工作了,下面是之前的文章列表:

批处理任务,一般做为后台服务定时运行,服务运维工作则是批处理服务之外的一项重要工作,包括服务运行如何监控,任务运行统计,任务执行日志查看等等。前面已说过,Spring Batch是批处理框架,并不是调度框架。调度框架,简单点可以使用quartzcrontab,而市面上已经有比较多功能完善的调度框架,经过比较,个人感觉xxl-job是比较容易上手,而且功能比较齐全,因此,这里介绍一下,使用xxl-jobSpring Batch的批处理任务进行调度,实现监控功能。

2.xxl-job介绍

xxl-job是一个轻量级的分布式任务调度平台,其核心设计目标是开发迅速、学习简单、轻量级、易扩展。系统架构设计合理,把调度系统与执行器分离,调度系统负责调度相关的逻辑,执行器则是具体任务的实现逻辑,开发者可以直接使用调度系统,然后实现自己任务逻辑来做为执行器即可,做到开箱即用。具体使用方式及详细说明,可见其官方文档

按照xxl-job的文档,先安装xxl-job的数据库,然后把xxl-job-admin启动起来,启动起来的页面如下:

3.编写Spring Batch执行器

本示例是基于上一篇文章所用到的数据库增量同步的示例,只需要在原来的基础上添加一个执行器即可,本示例为spring-batch-xxl-executor。按照xxl-job的官方文档,里面有说明如何配置部署“执行器项目”。具体到本实例,配置,实现如下:

3.1 添加maven依赖

添加xxl-job的核心依赖,如下:

<!-- xxl-job-core -->
<dependency>
    <groupId>com.xuxueli</groupId>
    <artifactId>xxl-job-core</artifactId>
    <version>2.0.2</version>
</dependency>

3.2 添加执行器配置文件executor.properties

执行器配置需要填写包括执行器名称、调度系统地址等,如下:

### xxl-job admin address list, such as "http://address" or "http://address01,http://address02"
xxl.job.admin.addresses=http://127.0.0.1:8089/xxl-job-admin

### xxl-job executor address
xxl.job.executor.appname=${spring.application.name}
xxl.job.executor.ip=
xxl.job.executor.port=9999

### xxl-job, access token
xxl.job.accessToken=

### xxl-job log path
xxl.job.executor.logpath=logs
### xxl-job log retention days
xxl.job.executor.logretentiondays=-1

3.3 执行器组件配置

添加java配置文件,获取以上的executor.properties配置。如下:

@Configuration
@ConfigurationProperties(prefix = "xxl.job")
@PropertySource("classpath:/config/executor.properties")
@Slf4j
public class JobExecutorConfig {
    @Value("${xxl.job.admin.addresses}")
    private String adminAddresses;
    
    ......略

    @Bean(initMethod = "start", destroyMethod = "destroy")
    public XxlJobSpringExecutor xxlJobExecutor() {
        log.info(">>>>>>>>>>> xxl-job config init.");
        XxlJobSpringExecutor xxlJobSpringExecutor = new XxlJobSpringExecutor();
        xxlJobSpringExecutor.setAdminAddresses(adminAddresses);
        xxlJobSpringExecutor.setAppName(appName);
        xxlJobSpringExecutor.setIp(ip);
        xxlJobSpringExecutor.setPort(port);
        xxlJobSpringExecutor.setAccessToken(accessToken);
        xxlJobSpringExecutor.setLogPath(logPath);
        xxlJobSpringExecutor.setLogRetentionDays(logRetentionDays);

        return xxlJobSpringExecutor;
    }
}

3.4 编写执行器

执行器,其实就是继承了IJobHandler类的实现,在execute方法实现任务实现逻辑即可。本示例中,只需要按之前测试的启动任务的逻辑实现即可。如下:

@JobHandler(value="incrementUserJobHandler")
@Component
public class JobIncrementUserHandler extends IJobHandler {
    @Autowired
    private JobLauncherService jobLauncherService;

    @Autowired
    private IncrementService incrementService;

    @Autowired
    private Job incrementJob;
    @Override
    public ReturnT<String> execute(String s) throws Exception {
        return JobUtil.runJob4Executor("incrementUser",incrementService,jobLauncherService,incrementJob);
    }
}

4.使用xxl-job进行Spring Batch任务调度

xxl-job-adminspring-batch-xxl-executor进行部署后(注意配置正确),就可以在xxl-job-admin界面中对任务进行调度。具体添加流程可参照xxl-job文档即可。简单说就是添加执行器spring-batch-xxl-executor,然后添加任务incrementUserJobHandler,指定执行的cron表达式,启动即可。执行任务后输出如下:

5. 总结

本文基于数据库增量同步的示例,使用Spring Batch结合xxl-job,实现可监控的任务调度,使得批处理任务可维护性更强,希望需要使用Spring Batch进行批处理任务开发的人员有帮助。

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 160,108评论 4 364
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 67,699评论 1 296
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 109,812评论 0 244
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 44,236评论 0 213
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 52,583评论 3 288
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 40,739评论 1 222
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 31,957评论 2 315
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 30,704评论 0 204
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 34,447评论 1 246
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 30,643评论 2 249
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 32,133评论 1 261
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 28,486评论 3 256
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 33,151评论 3 238
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 26,108评论 0 8
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 26,889评论 0 197
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 35,782评论 2 277
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 35,681评论 2 272

推荐阅读更多精彩内容