Skip to main content
 首页 » 编程设计

python之Airflow ExternalTaskSensor 一直在戳另一个 dag

2025年01月19日11lvdongjie

我想使用ExternalTask​​Sensor。

TaskSensor = ExternalTaskSensor( 
                            task_id='TaskSensor', 
                            external_dag_id='datamart_OTT_CMS_v1', 
                             external_task_id="end", 
                             allowed_states=None, 
                             execution_delta=None, 
                             execution_date_fn=None, 
                                dag=dag) 

我写了一个依赖于 A 的 dag B。当 dag A 结束(成功)时,dag B 将运行。但是运行的时候发现dag B一直在戳dag A。

为什么?我错过了什么吗?

请您参考如下方法:

这是预期的行为。 ExternalTask​​Sensor 正在轮询 DAG datamart_OTT_CMS_v1 的“结束”任务是否完成。默认情况下,它每分钟检查一次,但您可以通过在传感器上设置 poke_interval(秒)来缩短此间隔。

也许您正在寻找的是 TriggerDagRunOperator .因此,您可以在 DAG A 的末尾使用此运算符来触发 DAG B 的运行,而不是依赖于轮询。