我使用的是 airflow 1.7.1.3。
我对并发 DAG/任务有疑问。当一个 DAG 正在运行时,调度程序不再启动其他 DAG。似乎调度程序完全卡住(不再有日志)......直到运行的 DAG 完成。然后,触发新的 DAGrun。我的不同任务是长时间运行的 ECS 任务(~10 分钟)
我使用了 LocalExecutor 并使用了关于 parallelism=32 和 dag_concurrency=16 的默认配置。我使用 airflow scheduler -n 20 并自动重启它,并为我所有的 DAG 声明设置了 'depends_on_past': False。
有关信息,我在 ECS 集群中运行的容器中部署了 Airflow 。 max_threads = 2 而我只有 2 个 CPU 可用。
有什么想法吗?谢谢
请您参考如下方法:
我在使用 LocalExecutor 时也遇到了这个问题。这似乎是 LocalExecutor 工作方式的限制。调度程序最终产生子进程(在您的情况下为 32 个)。此外,您的调度程序每次执行执行 20 次迭代,因此当它完成 20 次运行时,它会等待其子进程终止,然后调度程序才能退出。如果有长时间运行的子进程,调度程序将被阻止执行。
对我们来说,解决方案是切换到 CeleryExecutor。当然,这需要 Celery 后端有更多的基础设施、管理和整体复杂性。
