Skip to main content
 首页 » 编程设计

python之Apache Airflow 如何将 xcom_pull() 值转换为 DAG

2025年02月15日34落叶无声

我有一个自定义运算符,它按如下方式推送 XCOM 值:

... 
task_instance = context['task_instance'] 
task_instance.xcom_push("list_of_files",file_list) 
... 

它工作正常。我有一个 dag 定义文件 (my_dag.py),我在其中使用自己的运算符创建任务,它推送 XCOM 值,然后我想通过使用此 xcom 值在循环中执行。怎么拉?

请您参考如下方法:

您无法在 dag 中访问 XCOM 变量,它只能通过向运算符构造函数提供 provide_context=True 参数在运算符中使用。

如果您想在 DAG 结构本身中使用来自运算符的数据,则需要执行运算符在运算符之外执行的实际任务。

def get_file_list(): 
    hook = SomeHook() 
    hook.run('something to get file list') 
 
dag = DAG('tutorial', default_args=default_args) 
 
for file in get_file_list(): 
    task = SomeOperator(params={'file': file}) # Do something with the file passed as a parameter