Skip to main content
 首页 » 编程设计

python之如何使用 python 管理 google big query 中的作业

2024年11月01日17langtianya

我是 BQ 的新手,我有一个简单的问题。 有一个 python 脚本每天执行一个加载表到 pandas。 分析后数据加载到 BQ,然后运行另一个 sql 查询以将数据附加到现有表。 我的问题是 我如何管理作业并检查所有数据是否已成功下载/上传,以及最后一次查询是否运行无误?

请您参考如下方法:

处理错误的解决方案

client = bigquery.Client() 
job_config = bigquery.job.QueryJobConfig() 
query_job = bigquery.job.QueryJob(str(uuid.uuid4()), 
        query, client=client, job_config=job_config) 
query_job._begin() 
while not query_job.done(): 
    time.sleep(5) 
if not query_job.errors: 
   #TODO