etl批量作业调度工具taskctl管理概述

以下文章内容转自微信公众号"taskctl"

作者:沐白

链接:关注公众号回复关键字"产品介绍"

本文主要内容:

TASKCTL是什么;

TASKCTL可以做什么;

组件&架构;

100+个主要功能点;

八大技术应用特征;

三大产品优势

TASKCTL是什么?

TASKCTL是一款功能全面的作业自动化调度技术管理工具。所谓作业,是指部署在网络中不同计算机上的各种程序或系统命令。通过TASKCTL,可以快速将这些作业组织起来,并进行有效的管理以及各种参数化运行控制。在业界,普遍将这种技术称为作业调度,其技术本质是作业运行管理的自动化控制。

TASKCTL可以做什么?

可以成为您IT工作中的一款常伴工具。TASKCTL作为一款作业自动化调度控制工具,可广泛应用于各种IT应用建设、实施各种IT设施维护管理中。其中大数据领域ETL以及批量作业自动化调度,是TASKCTL最典型的应用之一。

典型应用场景-大数据领域批量作业调度应用

大数据时代的今天,大量系统的建设与应用都离不开作业自动化调度技术的支撑。通过这种技术,使我们可以有效管控大量数据的批量进出、存放、加工、转换等一些列复杂的调度处理过程。

更多的IT作业调度自动化应用场景。

系统部署自动化

通过TASKCTL作业自动化无代理调度技术,可以快速实现成百上千台机器的多种应用部署。

自助式运维自动化

在IT运维过程当中,各种复杂的需求与应用场景,会催生大量碎片化的基于作业自动化的运维管理流程需求。TASKCTL是一款简单灵活的作业自动化工具,以自助方式,可以快速应对这些碎片化的运维流程需求。

更多自动化特色应用

实际上,作业流程自动化,是IT的常态技术。比如测试、机器巡检等,其技术核心,都离不开作业的自动化。深入理解TASKCTL的技术本质、合理利用TASKCTL这一款技术工具,你会发现,它可以轻松应用于你大量IT自动化处理当中,使TASKCTL成为你工作中的一款常伴工具。

组件&架构

(一) 总体架构

图片来自网络

1整个体系采用客户端、服务端CS模式。

2服务端通过代理模式、无代理模式,使调度服务器可以远程调度控制更多的业务主机

3调度服务器采用主备单活模式,实现服务高可靠

4服务端代理采用主从模式,实现业务主机集群控制。

5客户端应用体系分桌面客户端、BS模式应用端、以及微信应用端(暂不提供)

6 BS模式只提供监控应用服务

7微信模式只提供消息通知与消息相关的信息联动服务

(二) 具体典型应用架构以及适应场景

1. 广泛使用的经典最简架构

如果是一台机器的调度需求,请采用最简架构部署。实际上,这种部署适应大部分调度应用需求。对于用户来说,掌握了最简部署,就可快速实现其它更多、更复杂的调度部署。

图片来自网络

2. 多项目多代理应用架构

如果你需要同时协同批量调度多台不同业务服务器,请采用多代理应用架构部署。

图片来自网络

3. 业务主机集群应用架构

如果您的业务应用服务器,是集群模式,请采用集群架构部署。(目前不支持互联网集群分片调度机制)


图片来自网络

4. 无代理远程控制架构

实际上,

无代理远程架构与最简部署架构一致。只需在一台机器上部署TASKCTL, 即可控制网络中更多的机器。

图片来自网络

TASKCTL的100+个功能要点

支撑您各种调度及管理需求。以下通过核心功能、应用功能、扩展功能三个维度,分别为你列举各种功能。

(一) 核心功能

所谓核心功能,主要指TASKCTL可以调度哪些类型的作业,可以实现什么样的自动化控制调度,并以什么样的方式控制庞大的网络远程调度。

图片来自网络

(二) 应用功能

应用功能主要指我们通过界面怎么管理TASKCTL调度平台、怎么设计作业流程信息、怎么监控查询统计分析调度状况等。

平台管理

图片来自网络

平台管理功能主要包括:

平台代理主机维护管理;

作业类型维护管理;

用户(组)权限维护管理;

调度节点并发度维护管理;

作业&流程定义信息导入导出等。

作业流程调度设计

独立的IDE开发设计环境程序Designer,可以让你快速友好地设计流程信息。

图片来自网络

主要功能包括:

作业流程资源树管理;

图形拖拽方式设计;

代码文本方式设计;

图文联动设计;

联机\脱机设计;

设计信息实时自动检查;

设计信息编译深度检查;

信息全局搜索&替换

运维监控管理

运维监控管理主要通过组件monitor实现

图片来自网络

cs版主界面

图片来自网络

bs版主界面

(三) 扩展功能

扩展功能主要包括:

图片来自网络

(1)作业类型插件扩展

通过统一作业类型扩展机制,用户可以通过开发自己驱动插件,让TASKCTL支持您基于不同技术平台(各种数据库、ETL工具、语言、以及大数据平台等),不同应用规则的作业类型。

(2)应用API扩展

TASKCTL提供一套完整基于JAVA的二次开发接口,可以实现企业个性化的调度监控管理应用平台。

八大技术应用特征

创新不是目的,而是为了更好的应用

1.精简的技术体系

TASKCTL服务核心是业界唯一不采用数据库、任何第三方中间件构建的调度技术平台。

目前,整个业界的调度系统设计,主要是基于数据库、通信等各种第三方中间件基础上构建各自的调度技术平台。唯有TASKCTL无论是数据存储访问、网络通信,还是数据队列、数据一致性等底层技术,都采用独立自主的技术。这种方式在构建之初,为系统设计带来成倍的难度,但一旦建设完成,这种完全独立自主的体系,为系统各方面的高度融合,变得更轻松、更快捷。

2.高效的计算引擎

高效的计算引擎,无需特别的硬件资源要求。

由于TASKCTL采用全独立自主的技术体系,使计算机制与算法的全面优化变为可能。其主要采用独特消息机制全方位的内存计算以及组件化的计算引擎,使TASKCTL调度吞吐效率与业界相比,拥有数量级的绝对优势。

3.准语言级的控制设计

准语言级的控制表达方式,不仅使调度控制表达信息更简洁、更易懂;同时,在面对各种更为复杂的自动化控制需求时,TASKCTL变得更具有灵活性。

在传统记录化特征的基础上,将控制逻辑信息规则一定语法化,设计一套相应的语法规则,并吸取了大量语言的表达特征,以XML语言为载体并以文本代码方式进行表达。这种具有一定语言思想的表达方法,使你的设计更快捷、更简洁,也更灵活。

4. 完整的设计环境

TASKCTL-Designer客户端组件是调度业界唯一趋于完整的设计环境,使您整个调度设计过程,变得更轻松、更愉悦、更高效!

结合自己语言特征、表达特征、编辑特征,独立设计了一套与之匹配的完整的IDE环境-Designer组件,彻底摆脱了记录式表达的单一特征,使整个信息管理、表达与设计,更形象、更立体、更流畅、也更高效。

5.全方位的消息通知平台

消息通知,才是监控最直接、最便捷的手段。

目前,TASKCTL按异常、警告、预警以及提醒进行分类,为用户提供20+种实时通知消息。

6.灵活的插件扩展

插件扩展,让TASKCTL用户,不用担心作业类型的变化与发展

用户可以通过开发自己驱动插件,让TASKCTL支持您基于不同技术平台(各种数据库、ETL工具、语言、以及大数据平台等),不同应用规则的作业类型。

7.无代理远程调度

一机简单部署,全网轻松受控。

相对于代理模式来讲,无代理由于无需在受控目标机器部署相应的软件,即可调度控制相应的作业程序。这种变化,让调度控制空间格局,得到彻底的延展变化,极大拓展了调度的应用场景。这种场景,特别适合运维管理自动化。

无代理技术,使TASKCTL实现了”一机简单部署,全网轻松受控”。

8.系统级的权限管理机制

TASKCTL提供了一套类似操作系统般的权限管理机制,通过用户、用户组的思想,为每个流程对象赋予读、写、执行三种权限。这种思想,即简单,又熟悉,还可灵活实现各种角色的权限管理。

三大主要优势

(一) 坚定不移的产品理念

聚焦的方向、坚定的信念、持续的付出,决定未来一切

TASKCTL是由一群坚定的作业自动化调度技术爱好者开创,发展,并创办公司经营。作业自动化技术应用是公司唯一的业务,TASKCTL是公司唯一的核心产品,举全公司之力,长期发展TASKCTL,是公司不变的策略。

(二) 快速的产品升级迭代

产品没有最好,只有更好。只有不断发展的产品,才具有更强的生命力。

公司专业、专注的产品战略,是产品不断迭代发展完善的重要保证。为了保证产品的快速迭代,公司不断加强互联网经营策略,以便建立产品的快速用户反馈机制,以及快速发布渠道。

目前,TASKCTL拥有业界作业调度最大的技术交流群体,并通过互联网、公司热线与我们核心技术服务支持团队,长期保持实时互动,共同推动着TASKCTL不断向前发展。

(三) 最走心的技术服务体系

只有优质的产品与服务,才有用户更好的应用效果

提升技术服务质量,不再是一句口号。我们结合产品自身应用场景特性以及最流行的互联网通道,像产品一样精心设计的技术支持体系,以更低的成本,为用户提供更快捷、更高效、更精准的技术服务支持。

图片来自网络

推荐阅读更多精彩内容