我正在尝试将 python 写入:
从我们供应商的 API 收集 josn 或 csv 数据,
将数据加载到 BigQuery 中
问:我可以不将数据存储在 GCS 上,而是将数据直接加载到 BigQuery 中吗?
谢谢,
编辑: Client.load_table_from_dataframe 可能是一个解决方案。
请您参考如下方法:
几个想法:
- 使用 BigQuery 的 streaming API将行插入表中。请注意,这会产生相关费用。
- 使用 INSERT 语句传递要插入的值作为 query parameters .您将使用表单的查询,在其中传递
array_of_structs作为ARRAY<STRUCT<x INT64, y STRING, z BOOL>>类型的查询参数(该结构应具有您要使用的适当行类型)。请注意,调用 BigQuery 有最大请求大小限制,但是,如果我没记错的话是 10MB。
查询:
INSERT dataset.table (x, y, z)
SELECT x, y, z
FROM UNNEST(@array_of_structs)
