我有一个在 keras 中设计的序列到序列模型来预测数值数据,但我的输入序列长度不同。序列存储在一个 numpy 数组中,其中不存在的值为 NaN
[[0, 1, 2, 3],
[NaN, 1, 2, NaN]]
例如。 NaN 总是在末端(如果有的话),数字在数据中总是不间断的序列,因此例如以下序列不会出现:
[NaN, 0, NaN, 3].
我想在我的模型中使用一个掩蔽层,以便忽略这些 NaN 值,但是目前我所拥有的不起作用,因为我得到的损失始终是 NaN 输出。
encoder_inputs = Input(shape=(None, 1), name='encoder')
masker = Masking(mask_value=np.nan)
masker(encoder_inputs)
encoder = LSTM(units, return_state=True)
encoder_outputs, state_h, state_c = encoder(encoder_inputs)
# Keep encoder states for decoder, discard outputs
encoder_states = [state_h, state_c]
# Set up the decoder taking the encoder_states to be the initial state vector of the decoder.
decoder_inputs = Input(shape=(None, 1), name='decoder')
# Full output sequences and internal states are returned. Returned states are used in prediction / inference
decoder = LSTM(units, return_sequences=True, return_state=True)
decoder_outputs, _, _ = decoder(decoder_inputs, initial_state=encoder_states)
# Gives continuous output at each time step
decoder_dense = Dense(1)
decoder_outputs = decoder_dense(decoder_outputs)
# create model that takes encoder_input_data and decoder_input_data and creates decoder_target_data
model = Model([encoder_inputs, decoder_inputs], decoder_outputs)
我想我没有正确地向模型添加 Masking 层,但我不确定如何添加它?
请您参考如下方法:
问题是我使用 np.nan 作为掩码值。在引擎盖下,掩码是通过与导致 NaN 始终存在的二进制掩码相乘来执行的。由于我的数据是实数编号的,我无法确定它所采用的范围,因此我将 mask_value 设置为 sys.float_info.max。
