我正在熟悉 LSTM,我需要弄清楚一些事情。我正在使用 t-300:t-1 对时间序列建模以预测 t:t+60。我的第一种方法是像这样设置 LSTM:
# fake dataset to put words into code:
X = [[1,2...299,300],[2,3,...300,301],...]
y = [[301,302...359,360],[302,303...360,361],...]
# LSTM requires (num_samples, timesteps, num_features)
X = X.reshape(X.shape[0],1,X.shape[1])
model = Sequential()
model.add(LSTM(n_neurons[0], batch_input_shape=(n_batch, X.shape[1], X.shape[2]), stateful=True))
model.add(Dense(y.shape[1]))
model.compile(loss='mse', optimizer='adam')
model.fit(X, y, epochs=1, batch_size=1, verbose=1, shuffle=False)
在我的真实数据集上,结果不是最优的,在 CPU 上,它能够在 20 分钟内训练 1 个周期,包含大约 400,000 个样本。网络在一个 epoch 后迅速收敛,对于我输入的任何一组点,都会出现相同的结果。
我最近的改变是按以下方式 reshape X:
X = X.reshape(X.shape[0],X.shape[1],1)
训练似乎变慢了(我没有在完整的数据集上尝试过),但速度明显变慢了。训练一个包含 2,800 个样本的 epoch 大约需要 5 分钟。我试了一下真实数据的一小部分和较少的时期,这似乎很有希望。对于不同的输入,我没有得到相同的输出。
任何人都可以帮助我了解这里发生的事情吗?
请您参考如下方法:
在 Keras 中,(num_samples, timesteps, num_features) 中的时间步决定了 BPTT 将传播回错误的步数。
反过来,这需要更多时间才能完成,因此您观察到的速度变慢了。
X.reshape(X.shape[0], X.shape[1], 1) 在您的情况下是正确的做法,因为您拥有的是一个功能, 300 个时间步。
