Skip to main content
 首页 » 编程设计

python之Airflow Scheduler 为同一个 dag 创建 PID 以每次生成任务

2024年12月31日14youxin

我正在使用本地执行器。我有一种情况,我为每个请求 ID 生成了独特的 dags,例如 1.py , 2.py 。

1.py 假设有两个任务,2.py 有 3 个任务。我还会定期收到更多 dags,例如 3.py、4.py 等。

为每个新的 id/request ID 创建一个 dag 有什么问题吗?

我观察到 Scheduler 不断提供此日志。

Started a process (PID: 92186) to generate tasks for /Users/nshar141/airflow/dags/3.py - logging into /Users/nshar141/airflow/logs/scheduler/2018-05-07/3.py.log 

我的问题是为什么调度程序不断生成单独的 PID 来生成任务。我尝试更改配置中与并发性和并行性相关的不同参数,但调度程序似乎每次都在为 dags 文件夹中存在的每个 dag 执行该语句。

我附上了我的 dag 定义。我想在创建 dag 后立即运行它。我应该在 start_time 和 scheduler_interval 中提供哪些参数?

dag = DAG('3', description='Sample DAG',schedule_interval=@once,start_date=datetime(2018, 5, 07), catchup=False) 

因为我需要使用唯一的 dag id 动态生成 dag 并将其放在 dags 文件夹中,所以我担心的是调度程序会为文件夹中已执行的每个 dag 生成太多进程 IDS。

请您参考如下方法:

为什么要为每个请求创建一个新的 DAG?我认为最合适的方法是存储请求并让单个 DAG 以批处理方式同时执行多个请求的逻辑。如果需要,您可以经常运行 DAG。

您似乎希望尽快执行任务。如果您对吞吐量很大的近实时感兴趣,Airflow 可能不合适,您需要改用消息队列。