在下面的一些问题和教程中:
- Why is an iterable object not an iterator?
- Generator "TypeError: 'generator' object is not an iterator"
建议keras的数据生成器应该是一个包含__iter__和__next__方法的类。
而其他一些教程如:
- https://keunwoochoi.wordpress.com/2017/08/24/tip-fit_generator-in-keras-how-to-parallelise-correctly/
- https://www.altumintelligence.com/articles/a/Time-Series-Prediction-Using-LSTM-Deep-Neural-Networks
使用普通的 python 函数和提供数据的 yield 语句。虽然我按照上面的第二个教程在 LSTM 网络中成功使用了 yield,但我无法在卷积网络中使用正常的 yield 函数并在 fit_generator 中出现以下错误:
'method' object is not an iterator
我还没有尝试使用 __next__ 方法,但是建议遇到上述错误的人使用 __next__ 方法(编辑:在 Daniel Möller 建议的修复之后工作)。有人可以帮我弄清楚何时使用哪种技术以及“产生”下一个样本的函数与具有 __iter__ 和 __next__ 的类之间的区别是什么?
我使用 yield 的工作代码: https://github.com/KashyapCKotak/Multidimensional-Stock-Price-Prediction/blob/master/StockTF1_4Sequential.ipynb
我当前使用 yield 的数据生成器函数(编辑: 在 Daniel Möller 建议的修复后工作):
def train_images_generator(self):
for epoch in range(0, self.epochs):
print("Current Epoch:",epoch)
cnt = 0
if epoch > 2000:
learning_rate = 1e-5
for ind in np.random.permutation(len(self.train_ids)):
print("provided image with id:",ind)
#get the input image and target/ground truth image based on ind
raw = rawpy.imread(in_path)
input_images = np.expand_dims(pack_raw(raw), axis=0) * ratio # pack the bayer image in 4 channels of RGBG
gt_raw = rawpy.imread(gt_path)
im = gt_raw.postprocess(use_camera_wb=True,
half_size=False,
no_auto_bright=True, output_bps=16)
gt_images = np.expand_dims(np.float32(im / 65535.0),axis=0) # divide by 65535 to normalise (scale between 0 and 1)
# crop
H = input_images.shape[1] # get the image height (number of rows)
W = input_images.shape[2] # get the image width (number of columns)
xx = np.random.randint(0, W - ps) # get a random number in W-ps (W-512)
yy = np.random.randint(0, H - ps) # get a random number in H-ps (H-512)
input_patch = input_images[:, yy:yy + ps, xx:xx + ps, :]
gt_patch = gt_images[:, yy * 2:yy * 2 + ps * 2, xx * 2:xx * 2 + ps * 2, :]
if np.random.randint(2) == 1: # random flip for rows
input_patch = np.flip(input_patch, axis=1)
gt_patch = np.flip(gt_patch, axis=1)
if np.random.randint(2) == 1: # random flip for columns
input_patch = np.flip(input_patch, axis=2)
gt_patch = np.flip(gt_patch, axis=2)
if np.random.randint(2) == 1: # random transpose
input_patch = np.transpose(input_patch, (0, 2, 1, 3))
gt_patch = np.transpose(gt_patch, (0, 2, 1, 3))\
input_patch = np.minimum(input_patch, 1.0)
yield (input_patch,gt_patch)
我如何使用它:
model.fit_generator(
generator=data.train_images_generator(),
steps_per_epoch=steps_per_epoch,
epochs=epochs,
callbacks=callbacks,
max_queue_size=50
#workers=0
)
请您参考如下方法:
仔细观察 'method' 这个词,我发现您没有“调用”您的生成器(您没有创建它)。
您只传递函数/方法。
假设你有:
def generator(...):
...
yield x, y
而不是像这样的东西:
model.fit_generator(generator)
你应该这样做:
model.fit_generator(generator(...))
生成器或序列
使用生成器(具有 yield 的函数)和 keras.utils.Sequence 有什么区别?
使用生成器时,训练将遵循确切的循环顺序,并且不知道何时结束。所以。
使用生成器:
- 不能打乱批处理,因为它总是遵循循环的顺序
- 必须通知
steps_per_epoch因为 Keras 无法知道生成器何时完成(Keras 的生成器必须是无限的) - 如果使用多处理,系统可能无法正确处理批处理,因为无法知道哪个进程将在其他进程之前开始或完成。
使用序列:
- 你控制生成器的长度。 Keras 自动知道批处理数
- 您控制批处理的索引,因此 Keras 可以打乱批处理。
- 您可以根据需要多次取用任何批处理(您不必按顺序取用)
- Multiprocessing 可以使用索引来确保批处理最终不会混合。
