我正在 Google Cloud Datalab 上的 Jupyter notebook 中测试 Tensorflow 模型。该模型设置为使用 TFRecordDataset的 TFRecord文件作为输入,我相信这是组织模型输入的推荐方式。我想知道是否有一些支持的方式来创建这个 TFRecordDataset来自 Google Cloud Storage Objects 的列表, 由 google.datalab.storage 提供API 作为访问 Google Cloud 存储桶上数据的一种方式。
编辑:我发现调用 .uri 似乎可行在 Storage Objects 上并将这些 uri 传递给 TFRecordDataset ,但我不确定这是否是推荐的方式。
请您参考如下方法:
通常这样的任务会有设置,其中谷歌云存储将数据(比方说图像)存储在桶中,用户希望将输入转换为 tfrecord 格式以训练/微调模型(比方说分类/检测)。对于这样的任务,您将必须创建一个文件,其中包含有关图像路径的信息和合适的其他信息,例如标签、bbox 等。创建该文件后,您可以遍历您的文件,并使用这些输入的谷歌存储路径文件访问 GCS 数据以对其进行处理并将其保存为 tfrecord。以流行格式(COCO/Pascal VOC 用于图像数据)创建文件很有用,因为您可以使用不易出错且速度更快的预制转换脚本。例如:COCO to TFrecord conversion
