我想构建一个应用程序,它会按定义的时间间隔调用周期性任务 - 类似于 cron 替换,但没有生成进程。我会有很多任务,每分钟大约 10000 个。
- 我应该能够动态地向调度程序添加任务,例如使用 RPC
- 任务应该存储在某个中心位置,例如数据库。
- 它应该是可扩展的,这意味着我可以运行一些类似工作实例的东西来处理计划任务 - 如果一个工作人员已经承受着沉重的负载,另一个开始处理计划任务。
我现在已经研究了这些选项:
Celery - 可以作为分布式系统工作,但它并不是真正的调度程序。您无法动态安排新作业。
APScheduler - 可以动态添加任务,可以将任务存储在数据库中但不是分布式的。
我可能会运行单独的 apscheduler 实例,但每个实例都会有不同的作业存储(mysql 数据库或表)。此外,我还需要手动确定应向哪个实例作业提交。故障转移和可扩展性也很困难。
是否有任何现有的 python 或非 python 解决方案来解决这个问题?
请您参考如下方法:
看看https://github.com/pditommaso/awesome-pipeline .这里有一大堆工作流管理工具,其中一个可能会满足您的要求。
例如:DoIt和 JobLib ,它宣称自己是具有并行执行能力的简单任务系统。
它们中的许多对于您的需求而言过于重量级,而有些则更专业(生物信息学)。
作为管理进程运行的较重任务系统的示例:Luigi , Toil , Airflow和 Pinball .
较重的任务会有一个学习曲线,但可以让您集中管理任务。
