Skip to main content
 首页 » 编程设计

python之关于用于 Keras fit_generator 的 python 数据生成器的混淆

2024年11月24日6rubylouvre

在下面的一些问题和教程中:

  1. Why is an iterable object not an iterator?
  2. Generator "TypeError: 'generator' object is not an iterator"

建议keras的数据生成器应该是一个包含__iter__和__next__方法的类。

而其他一些教程如:

  1. https://keunwoochoi.wordpress.com/2017/08/24/tip-fit_generator-in-keras-how-to-parallelise-correctly/
  2. https://www.altumintelligence.com/articles/a/Time-Series-Prediction-Using-LSTM-Deep-Neural-Networks

使用普通的 python 函数和提供数据的 yield 语句。虽然我按照上面的第二个教程在 LSTM 网络中成功使用了 yield,但我无法在卷积网络中使用正常的 yield 函数并在 fit_generator 中出现以下错误:

'method' object is not an iterator

我还没有尝试使用 __next__ 方法,但是建议遇到上述错误的人使用 __next__ 方法(编辑:在 Daniel Möller 建议的修复之后工作)。有人可以帮我弄清楚何时使用哪种技术以及“产生”下一个样本的函数与具有 __iter__ 和 __next__ 的类之间的区别是什么?

我使用 yield 的工作代码: https://github.com/KashyapCKotak/Multidimensional-Stock-Price-Prediction/blob/master/StockTF1_4Sequential.ipynb

我当前使用 yield 的数据生成器函数(编辑: 在 Daniel Möller 建议的修复后工作):

def train_images_generator(self): 
    for epoch in range(0, self.epochs): 
      print("Current Epoch:",epoch) 
      cnt = 0 
      if epoch > 2000: 
        learning_rate = 1e-5 
 
      for ind in np.random.permutation(len(self.train_ids)): 
        print("provided image with id:",ind) 
        #get the input image and target/ground truth image based on ind 
        raw = rawpy.imread(in_path) 
        input_images = np.expand_dims(pack_raw(raw), axis=0) * ratio # pack the bayer image in 4 channels of RGBG 
 
        gt_raw = rawpy.imread(gt_path) 
        im = gt_raw.postprocess(use_camera_wb=True, 
                      half_size=False, 
                      no_auto_bright=True, output_bps=16) 
        gt_images = np.expand_dims(np.float32(im / 65535.0),axis=0) # divide by 65535 to normalise (scale between 0 and 1) 
 
        # crop 
 
        H = input_images.shape[1] # get the image height (number of rows) 
        W = input_images.shape[2] # get the image width (number of columns) 
 
        xx = np.random.randint(0, W - ps) # get a random number in W-ps (W-512) 
        yy = np.random.randint(0, H - ps) # get a random number in H-ps (H-512) 
        input_patch = input_images[:, yy:yy + ps, xx:xx + ps, :] 
        gt_patch = gt_images[:, yy * 2:yy * 2 + ps * 2, xx * 2:xx * 2 + ps * 2, :] 
 
        if np.random.randint(2) == 1:  # random flip for rows 
          input_patch = np.flip(input_patch, axis=1) 
          gt_patch = np.flip(gt_patch, axis=1) 
        if np.random.randint(2) == 1:  # random flip for columns 
          input_patch = np.flip(input_patch, axis=2) 
          gt_patch = np.flip(gt_patch, axis=2) 
        if np.random.randint(2) == 1:  # random transpose 
          input_patch = np.transpose(input_patch, (0, 2, 1, 3)) 
          gt_patch = np.transpose(gt_patch, (0, 2, 1, 3))\ 
 
        input_patch = np.minimum(input_patch, 1.0) 
 
        yield (input_patch,gt_patch) 

我如何使用它:

model.fit_generator( 
  generator=data.train_images_generator(), 
  steps_per_epoch=steps_per_epoch, 
  epochs=epochs, 
  callbacks=callbacks, 
  max_queue_size=50 
  #workers=0 

)

请您参考如下方法:

仔细观察 'method' 这个词,我发现您没有“调用”您的生成器(您没有创建它)。

您只传递函数/方法。

假设你有:

def generator(...): 
    ... 
    yield x, y 

而不是像这样的东西:

model.fit_generator(generator) 

你应该这样做:

model.fit_generator(generator(...)) 

生成器或序列

使用生成器(具有 yield 的函数)和 keras.utils.Sequence 有什么区别?

使用生成器时,训练将遵循确切的循环顺序,并且不知道何时结束。所以。

使用生成器:

  • 不能打乱批处理,因为它总是遵循循环的顺序
  • 必须通知 steps_per_epoch 因为 Keras 无法知道生成器何时完成(Keras 的生成器必须是无限的)
  • 如果使用多处理,系统可能无法正确处理批处理,因为无法知道哪个进程将在其他进程之前开始或完成。

使用序列:

  • 你控制生成器的长度。 Keras 自动知道批处理数
  • 您控制批处理的索引,因此 Keras 可以打乱批处理。
  • 您可以根据需要多次取用任何批处理(您不必按顺序取用)
  • Multiprocessing 可以使用索引来确保批处理最终不会混合。