Oozie-command

从前面几篇组件介绍,希望用户对oozie的组件有个粗略的概念,用户需要完成的业务逻辑将会被封装成为wf、coord、bundle,作为一个调度系统,oozie需要为用户做到什么呢,oozie需要按照用户的设地在合适的时候对用户的wf、coord、bundle进行操作,可能的操作包括 启动、停止、杀死、重跑、挂起、恢复、结束等等,本篇主要介绍oozie的命令系统;

/** * Extends Callable adding the concept of priority. <p/> The priority is useful when queuing callables for later 
* execution via the {@link org.apache.oozie.service.CallableQueueService}. <p/> A higher number means a higher 
* priority. <p/>
*/
public interface XCallable<T> extends Callable<T> {
/** * Base class for synchronous and asynchronous commands. 
* <p/> 
* It enables by API the following pattern: 
* <p/>
* <ul> 
* <li>single execution: a command instance can be executed only once</li> 
* <li>eager data loading: loads data for eager precondition check</li>
* <li>eager precondition check: verify precondition before obtaining lock</li> 
* <li>data loading: loads data for precondition check and execution</li>
* <li>precondition check: verifies precondition for execution is still met</li> 
* <li>locking: obtains exclusive lock on key before executing the command</li> 
* <li>execution: command logic</li> 
* </ul> 
* <p/> 
* It has built in instrumentation and logging. 
*/
public abstract class XCommand<T> implements XCallable<T> {

oozie将所有的命令抽象出一层 XCommand ,命令根据不同的场景需要同步执行或者异步执行,当进行异步执行的时候,还引入了优先级的概念来排列命令的执行计划;

/** * Implements the XCommand life-cycle. 
*
* @return the {link #execute} return value. 
* @throws Exception thrown if the command could not be executed. */
@Override
public final T call() throws CommandException {
    setLogInfo();
    if (CallableQueueService.INTERRUPT_TYPES.contains(this.getType()) && used.get()) {
        LOG.debug("Command [{0}] key [{1}]  already used for [{2}]", getName(), getEntityKey(), this.toString());
        return null;
    }
    commandQueue = null; 
    instrumentation.incr(INSTRUMENTATION_GROUP, getName() + ".executions", 1);
    Instrumentation.Cron callCron = new Instrumentation.Cron();
    try {
        callCron.start();
        if (!isSynchronous) {
            eagerLoadState();
            eagerVerifyPrecondition();
        }
        try {
            T ret = null;
            if (!isSynchronous && isLockRequired() && !this.inInterruptMode()) {
                Instrumentation.Cron acquireLockCron = new Instrumentation.Cron();
                acquireLockCron.start();
                acquireLock();
                acquireLockCron.stop();
                instrumentation.addCron(INSTRUMENTATION_GROUP, getName() + ".acquireLock", acquireLockCron);
            } 
           // executing interrupts only in case of the lock required commands
            if (lock != null) {
                this.executeInterrupts();
            } 
           if (isSynchronous || !isLockRequired() || (lock != null) || this.inInterruptMode()) { 
               if (CallableQueueService.INTERRUPT_TYPES.contains(this.getType())
                        && !used.compareAndSet(false, true)) {  
                  LOG.debug("Command [{0}] key [{1}]  already executed for [{2}]", getName(), getEntityKey(), this.toString());
                    return null;
                }
                LOG.trace("Load state for [{0}]", getEntityKey()); 
               loadState();
               LOG.trace("Precondition check for command [{0}] key [{1}]", getName(), getEntityKey());
                verifyPrecondition();
                LOG.debug("Execute command [{0}] key [{1}]", getName(), getEntityKey());
                Instrumentation.Cron executeCron = new Instrumentation.Cron();
                executeCron.start();
                ret = execute();
                executeCron.stop();
                instrumentation.addCron(INSTRUMENTATION_GROUP, getName() + ".execute", executeCron);
            }
            if (commandQueue != null) {
                CallableQueueService callableQueueService = Services.get().get(CallableQueueService.class);
                for (Map.Entry<Long, List<XCommand<?>>> entry : commandQueue.entrySet()) {
                    LOG.debug("Queuing [{0}] commands with delay [{1}]ms", entry.getValue().size(), entry.getKey());
                    if (!callableQueueService.queueSerial(entry.getValue(), entry.getKey())) {
                        LOG.warn("Could not queue [{0}] commands with delay [{1}]ms, queue full", entry.getValue()
                                .size(), entry.getKey());
                   }
                }
            }
            return ret;
        }
        finally {
            if (!isSynchronous && isLockRequired() && !this.inInterruptMode()) { 
               releaseLock();
           }
        }
    }
    catch(PreconditionException pex){ 
       LOG.warn(pex.getMessage().toString() + ", Error Code: " + pex.getErrorCode().toString());
        instrumentation.incr(INSTRUMENTATION_GROUP, getName() + ".preconditionfailed", 1);
        return null;
    }
    catch (XException ex) {
        LOG.error("XException, ", ex);
        instrumentation.incr(INSTRUMENTATION_GROUP, getName() + ".xexceptions", 1);
        if (ex instanceof CommandException) { 
           throw (CommandException) ex;
        }
        else {
            throw new CommandException(ex);
        }
    }
    catch (Exception ex) {
        LOG.error("Exception, ", ex); 
       instrumentation.incr(INSTRUMENTATION_GROUP, getName() + ".exceptions", 1); 
       throw new CommandException(ErrorCode.E0607, getName(), ex.getMessage(), ex);
    } 
   catch (Error er) {
        LOG.error("Error, ", er);  
      instrumentation.incr(INSTRUMENTATION_GROUP, getName() + ".errors", 1); 
       throw er;
    }
    finally {
        FaultInjection.deactivate("org.apache.oozie.command.SkipCommitFaultInjection");
        callCron.stop(); 
       instrumentation.addCron(INSTRUMENTATION_GROUP, getName() + ".call", callCron);
    }}

如上是 所有命令的call方法:如果是异步执行命令时候,再执行命令的时候 需要
先来测试一下此刻的状态是否还有执行命令的必要;所有的call方法在执行 具体的 execute() 时候,都需要装载需要操作的信息,用于更改数据库信息。如果对某个实例的操作不能同时进行,在执行命令之前还需要去获取锁,来保证某一时刻的操作是唯一的。很多情况下,一个命令会衍生出子命令,比如说杀死一个bundle的时候,我需要将bundle的状态置为杀死之外,还要去发送杀死bundle中的coord杀死的命令,这个就是一个命令产生子命令的场景,这个时候,我们也需要将这些子命令加入到异步命令执行池中去直接。

不同的命令逻辑的执行区别主要体现在不同的子类中的 execute() 中。

diagram.png

图中是oozie的整个包含不同业务色彩的命令系统。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 159,716评论 4 364
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 67,558评论 1 294
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 109,431评论 0 244
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 44,127评论 0 209
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 52,511评论 3 287
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 40,692评论 1 222
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 31,915评论 2 313
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 30,664评论 0 202
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 34,412评论 1 246
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 30,616评论 2 245
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 32,105评论 1 260
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 28,424评论 2 254
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 33,098评论 3 238
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 26,096评论 0 8
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 26,869评论 0 197
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 35,748评论 2 276
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 35,641评论 2 271

推荐阅读更多精彩内容