Skip to main content
 首页 » 编程设计

python之清理任务 Airflow

2024年12月31日9shanyou

我正在使用 Python3 和 Airflow。我有一个日常流程,其中有一些有时会失败的个别任务。

我想知道,如果有人知道,如何获得失败任务的列表,至少在流程结束时。我可以更改我的代码。我可以以某种方式返回包含每个任务名称及其结果的字典,但我认为这必须是一种更简单的方法。

一旦流程“完成”,我希望它清除那些任务状态(我的意思是失败和上游失败的任务)并自动重试。 p>

我读过一些关于:

airflow clear -t task_name <dag_name> 

所以我想我只需要遍历任务名称来清除它们,但我需要知道它们是谁。

非常感谢!

请您参考如下方法:

如果是我,我会编写自己的 Python 脚本,通过加载其模型 (airflow.models.TaskInstance) 和数据库连接 airflow.settings.Session< 与 Airflow 交互,定位失败的任务,然后通过脚本清除。 Airflow 已有用于清除任务的代码,可以提供一个有用的起点。