Skip to main content
 首页 » 编程设计

python之TensorFlow 数据验证和 BigQuery

2024年09月03日24qlqwjy

我想使用 TensorFlow Data Validation 来分析和验证数据以输入我的 ML 模型。 但是,我的原始数据表位于 BigQuery(超过 30gb)上,我无法将其作为 pandas 数据框加载。

如何将数据从 Bigquery 加载到我的笔记本中,以便使用 TensorFlow Data Validation 对其进行分析?

我想我可能会使用 Dataflow,但我可以找到一个合适的例子

请您参考如下方法:

将所有内容加载到 TFRecord 文件中,然后将其传递给 TF 数据验证。

Here您可以找到一个示例,其中他们将数据从 BigQuery 加载到 TFRecord(他们使用 Apache Beam)。