阿里分布式任务调度SchedulerX2.0支持Dataworks任务

简介

在schedulerx可支持定时调度dataworks任务,并将dataworks任务与其他业务定时任务进行在schedulerx上进行混合依赖编排完成相应的定期业务数据处理。

接入指南

客户端接入步骤:

1、schedulerx客户端升级至1.3.4及以上版本

2、配置具备访问dataworks(需开通企业版)的用户AK/SK

# dataworks访问的账户信息配置
spring.schedulerx2.aliyunAccessKey=阿里云账号AK
spring.schedulerx2.aliyunSecretKey=阿里云账号SK

任务创建

dataworks侧操作

1、进入dataworks控制台

阿里分布式任务调度SchedulerX2.0支持Dataworks任务

2、在对应项目空间下进入数据开发,创建手动业务流程,该流程可认为是dataworks任务相关的一个业务分组。

阿里分布式任务调度SchedulerX2.0支持Dataworks任务


3、在对应业务流程下创建所需对所有业务任务(无需编排依赖),并开发配置相关任务内容;完成后对该手动业务流程进行提交。

阿里分布式任务调度SchedulerX2.0支持Dataworks任务

阿里分布式任务调度SchedulerX2.0支持Dataworks任务


4、进入dataworks运维中心,查看确认手动业务流程及其任务已正确提交,则dataworks侧任务开发创建完毕。

阿里分布式任务调度SchedulerX2.0支持Dataworks任务

阿里分布式任务调度SchedulerX2.0支持Dataworks任务


schedulerx侧操作

1、已创建相应对业务,且worker已对接该业务应用

2、在相应业务应用下创建业务流程,该流程用于串联dataworks任务以及普通Java业务处理任务

阿里分布式任务调度SchedulerX2.0支持Dataworks任务

3、在对应对业务流程下,导入或创建dataworks任务节点进行任务绑定

阿里分布式任务调度SchedulerX2.0支持Dataworks任务

4、根据业务需要导入或创建其他类型业务处理任务,并完成依赖编排后进行发布;至此所有任务操作全部完成

阿里分布式任务调度SchedulerX2.0支持Dataworks任务


任务运行

1、对业务流程设置定时触发,当触发运行上面创建的业务流程后,可在流程实例列表中查看流程执行状态以及各个节点状态

阿里分布式任务调度SchedulerX2.0支持Dataworks任务

阿里分布式任务调度SchedulerX2.0支持Dataworks任务


2、右击节点可查询对应节点的执行结果信息(待dataworks跳转链接支持后,会提供直接链接跳转)

阿里分布式任务调度SchedulerX2.0支持Dataworks任务

3、任务实例列表,可查看对应任务节点的执行详情,以及支持停止重跑等操作

阿里分布式任务调度SchedulerX2.0支持Dataworks任务

4、在dataworks的运维中心,可查询到本次调度的执行实例信息

阿里分布式任务调度SchedulerX2.0支持Dataworks任务

上一篇:Java千百问_06数据结构(011)_java中的数组是什么


下一篇:分布式调度组件整合设计解析