Skip to main content
 首页 » 编程设计

python之tf.data.dataset.shuffle 的机制是什么

2024年12月31日9daizhj

假设我在一个 tfrecord 中有 100,000 个示例。我用缓冲区大小 100 进行洗牌,它会在我们消耗所有示例并将另外 100 个示例放入洗牌后每 100 个示例进行一次洗牌。或者当我们使用训练数据时,它也会填充后面的示例并从随机播放中统一抽取,这样在某个时间点,每个示例都有一定的概率在缓冲区中?

它认为后者更有意义。随机播放功能是如何实现的?我抬头但找到了解释该机制的来源。

谢谢。

请您参考如下方法:

取自here

The Dataset.shuffle()transformation randomly shuffles the input dataset using a similar algorithm to tf.RandomShuffleQueue: it maintains a fixed-size buffer and chooses the next element uniformly at random from that buffer.

您可以找到操作的定义 here ,然后指向 ShuffleDataset .

此外,请注意,混洗操作还允许您确定如何绘制批处理(即,在一个纪元之后,数据集是否总体上是伪随机混洗的)。