我想使用 TensorFlow Data Validation 来分析和验证数据以输入我的 ML 模型。 但是,我的原始数据表位于 BigQuery(超过 30gb)上,我无法将其作为 pandas 数据框加载。
如何将数据从 Bigquery 加载到我的笔记本中,以便使用 TensorFlow Data Validation 对其进行分析?
我想我可能会使用 Dataflow,但我可以找到一个合适的例子
请您参考如下方法:
将所有内容加载到 TFRecord 文件中,然后将其传递给 TF 数据验证。
Here您可以找到一个示例,其中他们将数据从 BigQuery 加载到 TFRecord(他们使用 Apache Beam)。
