Skip to main content
 首页 » 编程设计

python之为什么 Keras fit_generator() 在实际 "training"之前加载

2024年12月31日10davidwang456

抱歉打扰了:

我对 keras 函数感到困惑:fit_generator

我使用自定义生成器生成 (image,seg_image) 用于训练

仔细看可以看到get_seg()函数的内部

我把 print(path) 安路径就是 图片读取路径

从数据来看,还有一个意图是我想知道如何

fit_generator() 从生成器获取数据

#import all the stuff 
def get_seg(#parameters ): 
    print(path) #to track when this function is called  
    return seg_image     #for training  
 
#pre-processing image  
def getimage(#parameters): 
    #do something to image 
    return the imgage      #for training 
 
def data_generator(): 
#load all the data for training  
    zipped =cycle(zip(images,segmentations)) 
    while True: 
        X = [] 
        Y = [] 
        for _ in range(batch_size) : 
            im , seg = next(zipped) 
            X.append(getimage(#parameters))   
            Y.append(get_seg(#parameters)) 
    yield np.array(X) , np.array(Y)  
 
#create an generator  
G = data_generator(#parameters)  
#start training 
for ep in range( epochs ): 
    m.fit_generator( G , steps_per_epoch=512,  
                     epochs=1,workers=1) 

当我开始训练时,我得到了真正出乎意料的结果,因为它是

通过训练:终端看起来像: 它打印出24组路径

它从自定义 data_generator 获取数据的拳头

data/train/0000_mask.png 
data/train/0001_mask.png 
data/train/0002_mask.png 
data/train/0003_mask.png 
data/train/0004_mask.png 
data/train/0005_mask.png 
data/train/0006_mask.png 
data/train/0007_mask.png 
data/train/0008_mask.png 
data/train/0009_mask.png 
data/train/0010_mask.png 
data/train/0011_mask.png 
data/train/0012_mask.png 
data/train/0013_mask.png 
data/train/0014_mask.png 
data/train/0015_mask.png 
data/train/0016_mask.png 
data/train/0017_mask.png 
data/train/0018_mask.png 
data/train/0019_mask.png 
data/train/0020_mask.png 
data/train/0021_mask.png 
data/train/0022_mask.png 
data/train/0023_mask.png 

然后: 我相信培训从这里开始。

1/512 [..............................] - ETA: 2:14:34 - loss: 2.5879 - acc: 0.1697 

再次加载数据(图片)

data/train/0024_mask.png 
data/train/0025_mask.png 

经过512(steps_per_epoch)表示下一轮训练

开始,它会在训练前打印接下来的 24 条路径....

我想知道为什么会这样? keras是这样吗

有效吗?在实际传递之前加载数据是通过网络吗?

或者我误解或遗漏了一些基本知识?

请您参考如下方法:

是的,这就是 Keras 的工作方式。

训练和加载是两个平行的 Action 。一个人看不到另一个人的情况。

在fit_generator 方法中有一个max_queue_size 参数,默认情况下通常等于10。这意味着生成器将全速加载数据,直到队列已满。所以你要提前加载很多图像(这有助于避免模型因加载而变慢)

训练只是检查:队列中是否有元素?很好,训练。

因为您在循环内调用了 get_seg 但仅在该循环外调用了 yield,所以您打印的比批处理多。