Skip to main content
 首页 » 编程设计

python之Airflow :如何将读取 json 文件的方法放在本地库中

2024年11月24日9telwanggs

我必须生成一些 dag。我已将 json 表架构文件保存在 GCP bucket 上. GCP 存储桶上关联到 composer 的文件将重新映射到 /home/airflow/gcs/dags/。 如果我定义读取 json 文件的方法,在创建 dag 之后,一切正常。 但是如果我想生成一些“通用代码”(为了把它放在我的库中),我不能使用库中的代码访问文件系统,具体来说我不能使用 python json 库。

奇怪的是,我在创建 dag 的步骤中定义了方法,但我只在创建 dag 之后才调用它!

为了完成讨论,如果库中的代码仅在内存对象中使用,我没有问题。

我在使用 Airflow 时遇到了这个问题( Composer 在 GCP 驱动程序上使用了 1.9)

这是我的外部库:

lib/ 
    __init__.py 
    bb_airflow_utils.py 

在外部图书馆

def load_json_file(fname): 
    #per far sì che il dag la veda 
    with open(fname, 'r') as f: 
        d = json.load(f) 
    return d 

在主脚本上

 
from lib.bb_airflow_utils import * 
ROOT_PATH = 'home/airflow/gcs/dags' 
IDCLI = 'goofy' 
... 
... 
with DAG(dag_id=dag_name, default_args=dag_args) as dag: 
    filepath = path.join(ROOT_PATH, '{}-todwh.json'.format(IDCLI)) 
    get_data = load_json_file(filepath) 
    ..... 
    task_dummy_start = DummyOperator(task_id='task_{}_start'.format(dag_name), dag=dag) 
    ..... 

Airflow 忽略运算符(operator)并通过 UI 表示 dag 没有 SLA

请您参考如下方法:

看看https://cloud.google.com/composer/docs/how-to/using/installing-python-dependencies#install-local .

您可以将通用代码放在一个单独的文件中,并将其放在单独的文件夹中,如下例所示。

将依赖项放在 dags/ 文件夹的子目录中。要从子目录导入模块,模块路径中的每个子目录都必须包含一个 __init__.py 包标记文件。

在这个例子中,依赖是coin_module.py:

dags/ 
  use_local_deps.py  # A DAG file. 
  dependencies/ 
    __init__.py 
    coin_module.py 

从 DAG 定义文件导入依赖。

例如:

from dependencies import coin_module