Skip to main content
 首页 » 编程设计

python之如何使用批处理使 Keras ImageDataGenerator 适用于大型数据集

2024年11月24日852php

我想使用 Keras ImageDataGenerator 进行数据扩充。 为此,我必须使用我的训练数据作为参数在实例化的 ImageDataGenerator 对象上调用 .fit() 函数,如下所示。

image_datagen = ImageDataGenerator(featurewise_center=True, rotation_range=90) 
image_datagen.fit(X_train, augment=True) 
train_generator = image_datagen.flow_from_directory('data/images') 
model.fit_generator(train_generator, steps_per_epoch=2000, epochs=50) 

但是,我的训练数据集太大,一次加载时无法放入内存。 因此,我想使用我的训练数据的子集通过几个步骤来安装生成器。

有办法吗?

我想到的一个可能的解决方案是使用自定义生成器函数加载我的训练数据批处理,并在一个循环中多次拟合图像生成器。但是,我不确定是否可以以这种方式使用 ImageDataGenerator 的拟合函数,因为它可能会在每次拟合方法时重置。

作为它可能如何工作的示例:

def custom_train_generator(): 
    # Code loading training data subsets X_batch 
    yield X_batch 
 
 
image_datagen = ImageDataGenerator(featurewise_center=True, rotation_range=90) 
gen = custom_train_generator() 
 
for batch in gen: 
    image_datagen.fit(batch, augment=True) 
 
train_generator = image_datagen.flow_from_directory('data/images') 
model.fit_generator(train_generator, steps_per_epoch=2000, epochs=50) 

请您参考如下方法:

较新的 TF 版本 ( >=2.5 ):

ImageDataGenerator() 已被弃用,取而代之的是:

tf.keras.utils.image_dataset_from_directory

文档中的示例用法:

  tf.keras.utils.image_dataset_from_directory( 
    directory, 
    labels='inferred', 
    label_mode='int', 
    class_names=None, 
    color_mode='rgb', 
    batch_size=32, 
    image_size=(256, 256), 
    shuffle=True, 
    seed=None, 
    validation_split=None, 
    subset=None, 
    interpolation='bilinear', 
    follow_links=False, 
    crop_to_aspect_ratio=False, 
    **kwargs 
) 

较旧的 TF 版本 ( <2.5 )

ImageDataGenerator()为您提供批量加载数据的可能性;您实际上可以在 fit_generator() 中使用方法参数 batch_size,与 ImageDataGenerator() 一起使用;没有必要(如果你愿意,只是为了良好的实践)从头开始编写生成器。

重要提示:

从 TensorFlow 2.1 开始,.fit_generator()已被弃用,您应该使用 .fit()

示例取自 Keras 官方文档:

datagen = ImageDataGenerator( 
    featurewise_center=True, 
    featurewise_std_normalization=True, 
    rotation_range=20, 
    width_shift_range=0.2, 
    height_shift_range=0.2, 
    horizontal_flip=True) 
 
# compute quantities required for featurewise normalization 
# (std, mean, and principal components if ZCA whitening is applied) 
datagen.fit(x_train) 
 
# TF <= 2.0 
# fits the model on batches with real-time data augmentation: 
model.fit_generator(datagen.flow(x_train, y_train, batch_size=32), 
                    steps_per_epoch=len(x_train) // 32, epochs=epochs) 
 
#TF >= 2.1 
model.fit(datagen.flow(x_train, y_train, batch_size=32), 
         steps_per_epoch=len(x_train) // 32, epochs=epochs) 

我建议阅读这篇关于 ImageDataGenenerator 和 Augmentation 的优秀文章:https://machinelearningmastery.com/how-to-configure-image-data-augmentation-when-training-deep-learning-neural-networks/

您的问题的解决方案在于这行代码(简单流程或 flow_from_directory):

# prepare iterator 
it = datagen.flow(samples, batch_size=1) 

要创建您自己的 DataGenerator,应该查看此链接(作为起点):https://stanford.edu/~shervine/blog/keras-how-to-generate-data-on-the-fly

重要提示(2):

如果您使用来自 Tensorflow 的 Keras(Tensorflow 内部的 Keras),那么对于提供的代码和您查阅的教程,请确保替换导入/神经网络创建片段:

from keras.x.y.z import A 

与

from tensorflow.keras.x.y.z import A