CELERY CELERY_QUEUES和CELERY_ROUTS的用法

1. 介绍

Celery非常容易设置,通常都是使用默认的queue来存放任务,写法如下:

@app.task
def task1(x, y):
    for _ in range(10):
        time.sleep(1)
        print('x + y =', x + y)
        return x + y

@app.task
def task2():
    for _ in range(100):
        print('task2: ', datetime.now())
        time.sleep(1)

这两个任务都会在同一个queue里面执行,这样写很简单,因为只需要一个decorator就能实现一个异步任务。但如果考虑到每个任务的执行时间耗费资源或者重要程度不同,把两个任务放到同一个queue中,可能造成执行时间长但重要程度却低的任务先执行,极大的影响程序的功能。在使用同一个queue时,就算增加worker也无法解决该问题。
为了解决该问题,需要把task1放到queue1中,把task2放到queue2中去执行。同时指定worker1去处理queue1的任务,worker2去处理queue2的任务。使用这种方式时,各个任务就能获得足够的worker去处理,同时一些优先级worker也能很好的处理重要的任务而不需要等待了。

2. 定义queue和routes

首先手动定义queue

CELERY_QUEUES = (
    Queue('default', exchange=Exchange('default'), routing_key='default'),
    Queue('app_task1', exchange=Exchange('app_task1'), routing_key='app_task1'),
    Queue('app_task2', exchange=Exchange('app_task2'), routing_key='app_task2'),
)

然后定义routes用来决定不同的任务去哪一个queue

CELERY_ROUTES = {
    'celery_app.task.task1': {'queue': 'app_task1', 'routing_key': 'app_task1'},
    'celery_app.task.task2': {'queue': 'app_task2', 'routing_key': 'app_task2'}
}

在启动worker时指定该worker执行哪一个queue中的任务

celery -A celery_app worker -l info -Q app_task1 -P eventlet
celery -A celery_app worker -l info -Q app_task2 -P eventlet

举例:
如果某项目中涉及到大量文件转换问题,有大量小于1MB的文件转换,同时也有少量的20MB的文件转换,小文件转换的优先级是最高的,同时不用占用太多时间,但大文件的转换很耗时。如果将转换任务放到一个队列里面,那么很有可能因为出现转换大文件,导致耗时太严重造成小文件转换延时的问题。
所以可以按照文件大小设置3个优先队列,并且每个队列设置不用的worker。




自己的理解,若有问题日后修正:
celery的生产者会根据CELERY_ROUTES的值,将不同的任务放到不同的Exchange中,exchange根据CELERY_QUEUES的值将任务分配到不同的queue中,在worker指定取任务的queue后,那么就只从该queue中取出任务然后执行。

3. 代码

    celery_app
        __init__.py
        celeryconfig.py
        main.py
        task.py

3.1 init.py

from celery import Celery

app = Celery('celery_app')  # include=['celery_app.task']
app.config_from_object('celery_app.celeryconfig')

3.2 celeryconfig.py

配置文件

from kombu import Queue, Exchange

BROKER_URL = 'redis://127.0.0.1:6379/7'
CELERY_RESULT_BACKEND = 'redis://127.0.0.1:6379/8'

CELERY_IMPORTS = (
    'celery_app.task'
)

CELERY_QUEUES = (
    Queue('default', exchange=Exchange('default'), routing_key='default'),
    Queue('app_task1', exchange=Exchange('app_task1'), routing_key='app_task1'),
    Queue('app_task2', exchange=Exchange('app_task2'), routing_key='app_task2'),
)

CELERY_ROUTES = {
    'celery_app.task.task1': {'queue': 'app_task1', 'routing_key': 'app_task1'},
    'celery_app.task.task2': {'queue': 'app_task2', 'routing_key': 'app_task2'}
}

3.3 task.py

具体任务

import time
from datetime import datetime
from celery_app import app


@app.task
def task1(x, y):
    for _ in range(10):
        time.sleep(1)
        print('x + y =', x + y)
        return x + y


@app.task
def task2():
    for _ in range(100):
        print('task2: ', datetime.now())
        time.sleep(1)

3.4 main.py

执行任务

from celery_app.task import task1, task2

r = task1.apply_async(args=(1, 2))
r2 = task2.delay()

print(r.status)
print(r2.status)

3.5 执行

先启动虚拟环境,执行

celery -A celery_app worker -l info -Q app_task1 -P eventlet
# 或者
celery -A celery_app worker -l info -Q app_task2 -P eventlet

然后执行main.py文件
就可以看到两个worker分别执行不同的任务,并且只会执行被分配的任务了。

4. 注意事项

4.1 CELERY_IMPORTS问题

CELERY_IMPORTS = (
    'celery_app.task'
)

这个属性中配置的是需要执行的任务的模块,如果没有配置,那么在启动worker之后,便会报错,因为CELERY_ROUTES中的任务将会无法找到。
或者不想配置这个,也可以在创建Celery对象时传入参数配置,

app = Celery('celery_app',include=['celery_app.task'])

4.2 CELERY_ROUTES

CELERY_ROUTES的作用是,给任务分配queue和routing_key,然后根据给worker分配的queue值执行相应的任务。
如果在celeryconfig.py中没有配置该项,那么也可以这么写,
启动worker:

celery -A celery_app worker -l info -Q app_task1 -P eventlet

然后在生产任务时,主动传入queue和routing_key的值

r = task1.apply_async(args=(1, 2), queue='app_task1', routing_key='app_task1')

4.3 Exchange

如果在使用redis做BROKEN时,在创建Queue对象时,其实可以不用传入Exchange的值,即

CELERY_QUEUES = (
    Queue('default', routing_key='default'),
    Queue('app_task1', routing_key='app_task1'),
    Queue('app_task2', routing_key='app_task2'),
)

但如果使用了的是RabbitMQ,那么这个值就一定需要。
所以以防以后更改了BROKEN程序失效,那么在配置Queue时,默认将这个参数传入,然后值跟Queue的名字一样即可。

4.4 queue和routing_key

这两个值的名字不需要保持一致,那么为了方便使用和检查,最好还是保持一致。

4.5 定时任务

在上面添加代码

CELERYBEAT_SCHEDULE = {
    'celery_app.task.task1': {
        'task': 'celery_app.task.task1',
        'schedule': timedelta(seconds=20),
        'args': (1, 10)
    },
    'celery_app.task.task2': {
        'task': 'celery_app.task.task2',
        'schedule': crontab(minute='*/2'),
        'args': ()
    }
}

属性名称不要写错了,是CELERYBEAT_SCHEDULE,不要写成了BEAT_SCHEDULE或者CELERY_BEAT_SCHEDULE了。
启动定时器:
CELERY -A celery_app beat
在启动worker时,也可以指定queue,那么该worker就只执行该queue中的任务。
CELERY -A celery_app worker -l info -Q app_task1 -P eventlet

5. 参考:

https://denibertovic.com/posts/celery-best-practices/
https://blog.csdn.net/siddontang/article/details/34447003
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 151,511评论 1 330
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 64,495评论 1 273
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 101,595评论 0 225
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 42,558评论 0 190
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 50,715评论 3 270
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 39,672评论 1 192
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 31,112评论 2 291
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 29,837评论 0 181
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 33,417评论 0 228
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 29,928评论 2 232
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 31,316评论 1 242
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 27,773评论 2 234
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 32,253评论 3 220
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 25,827评论 0 8
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 26,440评论 0 180
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 34,523评论 2 249
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 34,583评论 2 249

推荐阅读更多精彩内容