Skip to main content
 首页 » 编程设计

python之如何根据多种条件对 Pandas 中的时间序列数据帧进行切片

2024年10月25日9Leo_wl

我需要根据这两个条件对时间序列数据帧进行切片:

  1. 每个切片的开始日期在第二个数据帧索引中找到。
  2. 每个切片的开始时间和切片的长度是您的函数的参数。

举个例子来看

df1 - 这是我们从中获取切片的地方

                     A  B       
DateTime                                                
2011-01-02 00:00:00  1  2   
2011-01-02 04:00:00  2  4     
2011-01-02 08:00:00  3  5       
2011-01-02 12:00:00  2  6    
2011-01-02 16:00:00  5  6 
2011-01-02 20:00:00  2  1 
2011-01-03 00:00:00  5  2  
2011-01-03 04:00:00  3  3 
2011-01-03 08:00:00  2  2 
2011-01-03 12:00:00  0  4 
2011-01-03 16:00:00  5  4 
2011-01-03 20:00:00  1  1 
 
<class 'pandas.tseries.index.DatetimeIndex'> 
[2011-01-02 00:00:00, ..., 2011-01-03 20:00:00] 
Length: 12, Freq: 240T, Timezone: None 

df2 - 这是切片开始的日期部分所在的位置。

                     N   
DateTime                                                                   
2011-01-10 00:00:00  1   
2011-03-10 00:00:00  2 
 
<class 'pandas.tseries.index.DatetimeIndex'> 
[2011-01-02, ..., 2011-01-03] 
Length: 2, Freq: None, Timezone: None 

假设我们想以 length=4 的间隔对 df1['A'] 进行切片,每个间隔的开始时间为 '04:00: 00',在 df2 的每个日期....所需的输出示例为:

func(df1['A'], df2, lenght=4, start_time='04:00') 
 
                     A     
DateTime                                                  
2011-01-02 04:00:00  2    
2011-01-02 08:00:00  3     
2011-01-02 12:00:00  2    
2011-01-02 16:00:00  5      
2011-01-03 04:00:00  3    
2011-01-03 08:00:00  2    
2011-01-03 12:00:00  0    
2011-01-03 16:00:00  5    

需要考虑的事项:

  • df1 的 Freq 不需要一直是 '240T'
  • df2 中的日期不需要连续,为了简化示例,我只是这样设置的。
  • 并非df1上的所有日期都在df2上,但df2上的所有日期都在df1上
  • df2中的N列可以忽略
  • df2 freq 属性始终为“无”
  • 切片的长度可以是任意的,因此它们可以是多天的。

我尝试了什么:

在一些帮助下,我尝试了这种方法,但只有当两个 df 的频率都是“无”时才有效。

def next_n_asof(x, t, n): 
    i = np.argmax(df1.index >= t) 
    return x[i:i + n] 
 
pd.concat(next_n_asof(df1.A, t, 4) 
               for t in df2.index) 

提前致谢

请您参考如下方法:

next_n_asof 中的非常小的更改会产生所需的结果。如果不是

i = np.argmax(df1.index >= t) 

你用

i = np.argmax(df1.index > t) 

然后你的代码产生

2011-01-02 04:00:00    2 
2011-01-02 08:00:00    3 
2011-01-02 12:00:00    2 
2011-01-02 16:00:00    5 
2011-01-03 04:00:00    3 
2011-01-03 08:00:00    2 
2011-01-03 12:00:00    0 
2011-01-03 16:00:00    5 
Name: A, dtype: int64 

也许我误解了这个问题,因为这看起来太简单了。


尽管如此,这里有一个可能更快的替代方案: 请注意,此代码使用 for-loop 和 len(df2.index) 迭代

pd.concat(next_n_asof(df1.A, t, 4) for t in df2.index) 

你可以改用

start = df1.index.get_indexer_for(df2.index) 

查找 df2.index 中的时间戳与 df1.index 中的时间戳相等的索引。例如,

In [93]: df1.index.get_indexer_for(df2.index) 
Out[93]: array([0, 6]) 

使用 DatetimeIndex 的 get_indexer_for 方法比使用此列表理解更快:

In [101]: [np.argmax(df1.index >= t) for t in df2.index] 
Out[101]: [0, 6] 
 
In [103]: %timeit [np.argmax(df1.index >= t) for t in df2.index] 
10000 loops, best of 3: 85.5 µs per loop 
 
In [104]: %timeit df1.index.get_indexer_for(df2.index) 
100000 loops, best of 3: 14.5 µs per loop 

从那里不难为 df1 中您希望选择的行创建所有所需索引的 bool 掩码:

mask = np.zeros(len(df), dtype='bool') 
for i in range(length): 
    mask[start+i] = True 

然后您可以使用

从 df1中选择所需的行
df1.loc[mask] 

而不是创建(可能)许多较小的 DataFrame 然后 将它们与 pd.concat 连接起来,如果有很多子数据帧,这会更慢。

所以这个替代方法用 len(df2.index) 迭代来交换 for-loop 对于具有 n=4 迭代的 for-loop(在您提出的示例问题中)。如果 df2 是 大但 n 很小,这种替代方法应该更快。


import numpy as np 
import pandas as pd 
 
df1 = pd.DataFrame({'A': [1, 2, 3, 2, 5, 2, 5, 3, 2, 0, 5, 1], 
                    'B': [2, 4, 5, 6, 6, 1, 2, 3, 2, 4, 4, 1]}, 
                   index=pd.date_range('2011-1-2', '2011-01-03 20:00', freq='240T')) 
 
df2 = pd.DataFrame({'N': 1}, index=pd.date_range('2011-1-2', '2011-01-03')) 
 
def next_n_asof(x, t, n): 
    i = np.argmax(df1.index > t) 
    return x[i:i + n] 
 
print(pd.concat(next_n_asof(df1.A, t, 4) 
               for t in df2.index)) 
 
 
def func(df, index, length): 
    start = df.index.get_indexer_for(index) 
    mask = np.zeros(len(df), dtype='bool') 
    for i in range(length): 
        mask[start+i] = True 
    return df.loc[mask] 
 
index = df2.index + pd.DateOffset(hour=4) 
print(func(df1['A'], index, length=4)) 

产量

2011-01-02 04:00:00    2 
2011-01-02 08:00:00    3 
2011-01-02 12:00:00    2 
2011-01-02 16:00:00    5 
2011-01-03 04:00:00    3 
2011-01-03 08:00:00    2 
2011-01-03 12:00:00    0 
2011-01-03 16:00:00    5 
Name: A, dtype: int64