Skip to main content
 首页 » 编程设计

python之如何将 API 调用返回的数据直接加载到 BigQuery 中而不存储在 GCS 上

2024年12月31日8insus

我正在尝试将 python 写入:

  1. 从我们供应商的 API 收集 josn 或 csv 数据,

  2. 将数据加载到 BigQuery 中

问:我可以不将数据存储在 GCS 上,而是将数据直接加载到 BigQuery 中吗?

谢谢,

编辑: Client.load_table_from_dataframe 可能是一个解决方案。

请您参考如下方法:

几个想法:

  • 使用 BigQuery 的 streaming API将行插入表中。请注意,这会产生相关费用。
  • 使用 INSERT 语句传递要插入的值作为 query parameters .您将使用表单的查询,在其中传递 array_of_structs作为 ARRAY<STRUCT<x INT64, y STRING, z BOOL>> 类型的查询参数(该结构应具有您要使用的适当行类型)。请注意,调用 BigQuery 有最大请求大小限制,但是,如果我没记错的话是 10MB。

查询:

INSERT dataset.table (x, y, z) 
SELECT x, y, z 
FROM UNNEST(@array_of_structs)