我能够使用 tensorflow 写入和读取 TFrecord 文件。如何快速获取 TFRecord 文件中包含的条目总数?是否有任何 API 可以获取计数?
请您参考如下方法:
TFRecords file format基本上是以下形式的结构序列:
struct TFRecords {
uint64_t length;
uint32_t length_checksum;
uint8_t data[length];
uint32_t data_checksum;
} × N
没有元数据表明有多少条目,因此获取总数的唯一可靠方法是读取整个文件(因此没有 API 可以快速获取总数)然后调用 num_records_produced().
在生成 TFRecords 时,您可以编写包含该数字的自定义元数据作为第一条记录。
如果您确定每条记录都具有相同的长度,那么您可以获得的条目数为 decompressed_file_size/(length_of_each_record + 16)。
