Skip to main content
 首页 » 编程设计

python之带有 keras 和掩蔽层的可变长度序列

2024年12月31日11jpfss

我有一个在 keras 中设计的序列到序列模型来预测数值数据,但我的输入序列长度不同。序列存储在一个 numpy 数组中,其中不存在的值为 NaN

[[0, 1, 2, 3], 
 [NaN, 1, 2, NaN]] 

例如。 NaN 总是在末端(如果有的话),数字在数据中总是不间断的序列,因此例如以下序列不会出现:

[NaN, 0, NaN, 3]. 

我想在我的模型中使用一个掩蔽层,以便忽略这些 NaN 值,但是目前我所拥有的不起作用,因为我得到的损失始终是 NaN 输出。

encoder_inputs = Input(shape=(None, 1), name='encoder') 
masker = Masking(mask_value=np.nan) 
masker(encoder_inputs) 
encoder = LSTM(units, return_state=True) 
encoder_outputs, state_h, state_c = encoder(encoder_inputs) 
 
# Keep encoder states for decoder, discard outputs 
encoder_states = [state_h, state_c] 
 
# Set up the decoder taking the encoder_states to be the initial state vector of the decoder. 
decoder_inputs = Input(shape=(None, 1), name='decoder') 
 
# Full output sequences and internal states are returned.  Returned states are used in prediction / inference 
 
decoder = LSTM(units, return_sequences=True, return_state=True) 
decoder_outputs, _, _ = decoder(decoder_inputs, initial_state=encoder_states) 
 
# Gives continuous output at each time step 
decoder_dense = Dense(1) 
decoder_outputs = decoder_dense(decoder_outputs) 
 
# create model that takes encoder_input_data and decoder_input_data and creates decoder_target_data 
model = Model([encoder_inputs, decoder_inputs], decoder_outputs) 

我想我没有正确地向模型添加 Masking 层,但我不确定如何添加它?

请您参考如下方法:

问题是我使用 np.nan 作为掩码值。在引擎盖下,掩码是通过与导致 NaN 始终存在的二进制掩码相乘来执行的。由于我的数据是实数编号的,我无法确定它所采用的范围,因此我将 mask_value 设置为 sys.float_info.max。