我如何使用celery配置不同的工作池?

我需要(通常)使用以下三类工作程序来部署排队执行服务:

>周期性的,低优先级的工作类别,需要很长时间并且可以串行处理;这些作业最多只能在系统中使用0..2工人.
>定期的,对截止日期敏感的工作类别,需要短至中等的时间(例如,在5分钟后达到顶峰)
>特定的工作类别,其优先级高于#1,但可以与#2交错.任何来自#2类的工人在进入这种工作时都处于不活动状态,应处理该问题,而永远不要饿死#2工人

这三个工作类别都是同一任务,它们之间的唯一区别是请求方式.它们将采用相同的输入并生成相同的输出,但是每个都有不同的性能保证.

如何使用芹菜实现此目的?

解决方法:

您可以使用Celery Routing实现您的目标.您要做的是设置三个不同的路由键,并在您设置的特定路由键上仅列出多个celery worker(具有自定义配置).

上一篇:Python 3没有名为’_ssl’的模块


下一篇:python-子进程未调用我的命令(或做错了)