我需要使用 TimeseriesGenerator 将数据输入 LSTM 网络。情况是,TimeseriesGenerator 函数生成的序列只需要考虑 ID 内的值。例如,考虑以下数据:
dt = pd.DataFrame({'ids':[1,1,1,1,1,1,1,2,2,2,2,2,2,2,3,3,3,3,3,3,3], 'values':[1,2,3,4,5,6,7,1,2,3,4,5,6,7,1,2,3,4,5,6,7]})
对于序列长度为 3,我需要以下输出:
[[[1., 1.], [1., 2.], [1., 3.]]
,[[1., 2.], [1., 3.], [1., 4.]]
,[[1., 3.], [1., 4.], [1., 5.]]
,[[1., 4.], [1., 5.], [1., 6.]]
,[[1., 5.], [1., 6.], [1., 7.]]
,[[2., 1.], [2., 2.], [2., 3.]]
,[[2., 2.], [2., 3.], [2., 4.]]
...
]
但是,当我运行以下命令时:
X = TimeseriesGenerator(dt.values,dt.values,3,batch_size = dt.shape[0])
在 ID = 2 的序列开始之前,我得到 2 个额外的不需要的元素,如下所示:
[[1., 6.], [1., 7.],[2., 1.]],[[1., 7.],[2., 1.],[2., 2.]]
我知道循环遍历所有 ID 是一种解决方案,但是当我在现实生活中这样做时会花费大量时间,有什么捷径可以实现吗?
请您参考如下方法:
您必须编写自定义数据生成器。下面的代码应该适合您自定义的基于 ids 的批处理生成,您可以将其用作基线并根据需要对其进行自定义。
import keras
import numpy as np
class DataGenerator(keras.utils.Sequence):
def __init__(self, dt, length, batch_size=128):
self.tgs = list()
for i in range(dt['ids'].min(),dt['ids'].max()+1):
adf = dt[dt['ids'] == i]
self.tgs.append(TimeseriesGenerator(adf.values,adf.values,length,batch_size =batch_size))
self.len = sum([len(tg) for tg in self.tgs])
self.idx_i = list()
self.idx_j = list()
for i, tg in enumerate(self.tgs):
self.idx_i.extend(list(range(len(tg))))
self.idx_j.extend([i]*len(tg))
#print ( self.idx_i, self.idx_j)
def __len__(self):
return self.len
def __getitem__(self, index):
return self.tgs[self.idx_j[index]][self.idx_i[index]]
# Test
g = DataGenerator(dt,3,3)
for i in range(len(g)):
print (g[i])
- 我正在为每个 id 创建一个生成器并将其存储在
tgs - no:of batches 是每个生成器中的批处理之和
idx_j将索引映射到相应的生成器idx_i将索引映射到由idx_j 映射的生成器中的批处理
输出:
(array([[[1., 1.], [1., 2.], [1., 3.]],
[[1., 2.], [1., 3.], [1., 4.]],
[[1., 3.], [1., 4.], [1., 5.]]]),
array([[1., 4.], [1., 5.], [1., 6.]]))
(array([[[2., 1.], [2., 2.], [2., 3.]],
[[2., 2.], [2., 3.], [2., 4.]],
[[2., 3.], [2., 4.], [2., 5.]]]),
array([[2., 4.], [2., 5.], [2., 6.]]))
(array([[[3., 1.], [3., 2.],[3., 3.]],
[[3., 2.], [3., 3.], [3., 4.]],
[[3., 3.], [3., 4.], [3., 5.]]]),
array([[3., 4.], [3., 5.], [3., 6.]]))
