Skip to main content
 首页 » 编程设计

python之如何获取 TFRecord 文件中包含的条目总数

2025年04月02日10xxx_UU

我能够使用 tensorflow 写入和读取 TFrecord 文件。如何快速获取 TFRecord 文件中包含的条目总数?是否有任何 API 可以获取计数?

请您参考如下方法:

TFRecords file format基本上是以下形式的结构序列:

struct TFRecords { 
    uint64_t length; 
    uint32_t length_checksum; 
    uint8_t data[length]; 
    uint32_t data_checksum; 
} × N 

没有元数据表明有多少条目,因此获取总数的唯一可靠方法是读取整个文件(因此没有 API 可以快速获取总数)然后调用 num_records_produced().

在生成 TFRecords 时,您可以编写包含该数字的自定义元数据作为第一条记录。

如果您确定每条记录都具有相同的长度,那么您可以获得的条目数为 decompressed_file_size/(length_of_each_record + 16)。