Skip to main content
 首页 » 编程设计

python之使用 Keras TimeseriesGenerator 函数通过一些 ID 生成序列组

2024年11月24日8bjzhanghao

我需要使用 TimeseriesGenerator 将数据输入 LSTM 网络。情况是,TimeseriesGenerator 函数生成的序列只需要考虑 ID 内的值。例如,考虑以下数据:

dt = pd.DataFrame({'ids':[1,1,1,1,1,1,1,2,2,2,2,2,2,2,3,3,3,3,3,3,3], 'values':[1,2,3,4,5,6,7,1,2,3,4,5,6,7,1,2,3,4,5,6,7]}) 

对于序列长度为 3,我需要以下输出:

[[[1., 1.], [1., 2.], [1., 3.]] 
,[[1., 2.], [1., 3.], [1., 4.]] 
,[[1., 3.], [1., 4.], [1., 5.]] 
,[[1., 4.], [1., 5.], [1., 6.]] 
,[[1., 5.], [1., 6.], [1., 7.]] 
,[[2., 1.], [2., 2.], [2., 3.]] 
,[[2., 2.], [2., 3.], [2., 4.]] 
 ... 
 ] 

但是,当我运行以下命令时:

X = TimeseriesGenerator(dt.values,dt.values,3,batch_size = dt.shape[0]) 

在 ID = 2 的序列开始之前,我得到 2 个额外的不需要的元素,如下所示:

[[1., 6.], [1., 7.],[2., 1.]],[[1., 7.],[2., 1.],[2., 2.]] 

我知道循环遍历所有 ID 是一种解决方案,但是当我在现实生活中这样做时会花费大量时间,有什么捷径可以实现吗?

请您参考如下方法:

您必须编写自定义数据生成器。下面的代码应该适合您自定义的基于 ids 的批处理生成,您可以将其用作基线并根据需要对其进行自定义。

import keras 
import numpy as np 
class DataGenerator(keras.utils.Sequence): 
    def __init__(self, dt, length, batch_size=128): 
        self.tgs = list() 
        for i in range(dt['ids'].min(),dt['ids'].max()+1): 
            adf = dt[dt['ids'] == i] 
            self.tgs.append(TimeseriesGenerator(adf.values,adf.values,length,batch_size =batch_size)) 
        self.len = sum([len(tg) for tg in self.tgs]) 
        self.idx_i = list() 
        self.idx_j = list() 
 
        for i, tg in enumerate(self.tgs): 
            self.idx_i.extend(list(range(len(tg)))) 
            self.idx_j.extend([i]*len(tg))     
        #print ( self.idx_i,  self.idx_j) 
 
    def __len__(self): 
        return self.len 
 
    def __getitem__(self, index): 
        return self.tgs[self.idx_j[index]][self.idx_i[index]] 
 
# Test 
g = DataGenerator(dt,3,3) 
for i in range(len(g)): 
    print (g[i]) 
  • 我正在为每个 id 创建一个生成器并将其存储在 tgs
  • no:of batches 是每个生成器中的批处理之和
  • idx_j 将索引映射到相应的生成器
  • idx_i 将索引映射到由 idx_j
  • 映射的生成器中的批处理

输出:

(array([[[1., 1.], [1., 2.], [1., 3.]], 
        [[1., 2.], [1., 3.], [1., 4.]], 
        [[1., 3.], [1., 4.], [1., 5.]]]),  
        array([[1., 4.], [1., 5.], [1., 6.]])) 
(array([[[2., 1.], [2., 2.], [2., 3.]], 
       [[2., 2.], [2., 3.], [2., 4.]], 
       [[2., 3.], [2., 4.], [2., 5.]]]),  
       array([[2., 4.], [2., 5.], [2., 6.]])) 
(array([[[3., 1.], [3., 2.],[3., 3.]], 
       [[3., 2.], [3., 3.], [3., 4.]], 
       [[3., 3.], [3., 4.], [3., 5.]]]),  
       array([[3., 4.], [3., 5.], [3., 6.]]))