Skip to main content
 首页 » 编程设计

python之使用keras同时训练两个网络

2024年12月31日10kevingrace

假设您想要使用同一数据集同时训练两个略有不同的网络。 一种方法是通过功能性 API:https://keras.io/getting-started/functional-api-guide/ . 以下是它在简单架构(只有两个具有相同输入/输出的多层密集网络)上的工作方式:

same_input = Input(shape=(n_feat, ), name='input') 
 
x = Dense(n_feat//2, kernel_initializer='uniform', activation='relu')(same_input) 
x = Dense(n_feat//128, kernel_initializer='uniform', activation='elu')(x) 
x = Dropout(dropout_val)(x) 
x = BatchNormalization()(x) 
x = Dense(n_feat//256, kernel_initializer='uniform', activation='relu')(x) 
x_out = Dense(out_dim, kernel_initializer='normal', name='output_x')(x) 
 
y = Dense(n_feat//2, kernel_initializer='uniform', activation='relu')(same_input) 
y = Dropout(dropout_val)(y) 
y = Dense(n_feat//128, kernel_initializer='uniform', activation='elu')(y) 
.... (some difference) 
y = Dropout(dropout_val)(y) 
y = BatchNormalization()(y) 
y_out = Dense(out_dim, kernel_initializer='uniform', name='output_y')(y) 
 
 
model = Model(inputs=same_input,  
             outputs=[x_out, y_out]) 
 
model.compile(optimizer='rmsprop', 
              loss={'output_x': 'mean_squared_error', 
                   'output_y': 'mean_absolute_error'}, 
              loss_weights={'output_x': 1, 
                            'output_y': 1.}) 
 
model.fit({'input': X}, 
         {'output_x': Y, 'output_x': Y}, 
         epochs=fit_pars['num_ep'], 
         batch_size=b_size, 
         validation_split=valid_split, 
         callbacks=callbacks, 
         verbose=2) 
 
network_predict = np.array(model.predict(X_test, batch_size=b_size)) 

但是,我不确定这是否正确,以及是否有一种方法可以在 Keras 上正确执行。用于优化网络的总损失将是以下总和这两个损失,这在两个网络之间造成了干扰。 谁能告诉我这是对还是错,是否有办法同时独立地训练网络?

请您参考如下方法:

我认为您的方法没有任何问题。假设您有两个网络 N1 和 N2,损失函数分别为 L1 和 L2。当您使用组合损失函数 L=L1+L2 时,L 的梯度 wrt。 N1 中的参数 w 与 L1 wrt 的梯度相同。 w 当且仅当 L2 不依赖于 w。同样的事情适用于 N2 中的任何参数 w。

因此,当您使用组合损失函数通过基于梯度的方法(例如 RMSprop)优化您的网络 N1 和 N2 时,您应该获得相同的更新就像您在独立优化 N1 和 N2 一样,因为您的两个网络具有不同的参数(即它们不共享权重)。