Skip to main content
 首页 » 编程设计

python之Pandas 时间序列与缺失数据/记录的比较

2025年04月02日8EasonJim

这个问题与我之前提出的一个问题 (Remapping `numpy.array` with missing values) 有点相关,当时我正在努力处理缺少数据的时间序列,有人建议“使用 Pandas!”。所以我来了...

我正在处理大型数据集,基本上由来自不同观察站点的时间序列组成,我想对这些站点进行统计比较。这些数据集相当困惑;许多丢失的数据(用例如 -99 表示),丢失的时间记录(一个站可能有时间记录,另一个没有),我只想包含/比较数据(1)所有站点具有某个变量的数据,或者 (2) 我想比较的两个站点具有该变量的数据,而忽略其他站点是否(没有)具有数据。

以这个最小的例子为例:

import pandas as pd 
from io import StringIO 
 
data = StringIO("""\ 
  1,  2001-01-01, 00:00, 1.0, 0.5, 1.0 
  1,  2001-01-01, 01:00, 1.1, 0.6, 2.0 
  1,  2001-01-01, 02:00, 1.2, 0.7, 3.0 
  1,  2001-01-01, 03:00, 1.3, 0.8, 4.0 
 
  2,  2001-01-01, 00:00, 2.0, -99, -99 
  2,  2001-01-01, 01:00, -99, 1.6, 2.0 
  2,  2001-01-01, 02:00, 2.2, 1.7, 3.0 
  2,  2001-01-01, 03:00, 2.3, 1.8, 4.0 
 
  3,  2001-01-01, 00:00, 3.0, 2.5, 1.0 
  3,  2001-01-01, 01:00, 3.1, 2.6, -99 
  3,  2001-01-01, 02:00, -99, -99, 3.0 
  3,  2001-01-01, 03:00, 3.3, 2.8, 4.0 
  3,  2001-01-01, 04:00, 3.4, 2.9, 5.0 
""") 
 
columns = ['id','date','time','T','Td','cc'] 
df = pd.read_table(data, header=None, names=columns, delimiter=',', na_values=-99, parse_dates=[['date','time']]) 

其中-99表示缺失值。我想比较来自不同站点(列 id)的数据(列 T、Td、cc) ,但如前所述,仅当两个或所有 id 具有我感兴趣的变量的数据时(完全忽略其他列中的数据是否丢失)。

因此对于此示例,如果所有站点都需要数据,则比较 T 只会导致比较来自 2001-01-01, 00:00 和 03:00,因为对于其他时间,id=2 或 id=3 缺少 T,并且id=3 的最后一次记录在其他 id 中完全不存在。

我已经玩了几个小时了,但老实说我真的不知道从哪里开始。是否可以使用上述标准提取大小为 n_sites x n_valid_values(3x2,对于本例)的 numpy.array,我可以将其用于进一步分析?

EDIT 作为一个部分的,但真的(真的)丑陋的解决方案,这样的事情似乎可行:

# Loop over all indexes where T is nan: 
for i in np.where(df['T'].isnull())[0]: 
    # For each of them, set records with the same date_time to nan 
    j = np.where(df['date_time'] == df['date_time'][i])[0] 
    df['T'][j] = np.nan 
# Drop all records where T is nan 
df2 = df.dropna(subset=['T']) 
 
# Group by the different stations: 
g = df2.groupby('id') 
 
# Get the arrays (could automate this based on the unique id's): 
v1 = g.get_group(1)['T'] 
v2 = g.get_group(2)['T'] 
v3 = g.get_group(3)['T'] 

但这仍然没有删除 id=3, date_time=2001-01-01, 04:00 的记录,我猜/希望那里是使用 Pandas 的更优雅的方法。

请您参考如下方法:

一种似乎有效的方法(基于此:https://stackoverflow.com/a/34985243/3581217 答案)是创建一个 Dataframe,其中来自不同站点的观察结果具有不同的列,然后是一个 dropna() 将 subset 设置为所有列或我要比较的两个站点,这会删除所有缺少数据的行。

import pandas as pd 
import numpy as np 
from io import StringIO 
 
data1 = StringIO("""\ 
  1,  2001-01-01, 00:00, 1.0 
  1,  2001-01-01, 01:00, 1.1 
  1,  2001-01-01, 02:00, 1.2 
  1,  2001-01-01, 03:00, 1.3 
""") 
 
data2 = StringIO("""\ 
  2,  2001-01-01, 00:00, 2.0 
  2,  2001-01-01, 01:00, -99 
  2,  2001-01-01, 02:00, 2.2 
  2,  2001-01-01, 03:00, 2.3 
""") 
 
data3 = StringIO("""\ 
  3,  2001-01-01, 00:00, 3.0 
  3,  2001-01-01, 01:00, 3.1 
  3,  2001-01-01, 02:00, -99 
  3,  2001-01-01, 03:00, 3.3 
  3,  2001-01-01, 04:00, 3.4 
""") 
 
columns = ['id','date','time','T1'] 
df1 = pd.read_table(data1, header=None, names=columns, delimiter=',', na_values=-99, parse_dates=[['date','time']]) 
columns = ['id','date','time','T2'] 
df2 = pd.read_table(data2, header=None, names=columns, delimiter=',', na_values=-99, parse_dates=[['date','time']]) 
columns = ['id','date','time','T3'] 
df3 = pd.read_table(data3, header=None, names=columns, delimiter=',', na_values=-99, parse_dates=[['date','time']]) 
 
df = pd.concat([df1,df2,df3]).groupby('date_time').max() 
df = df.dropna(subset=['T1','T2','T3']) 

生成的 Dataframe 如下所示:

In [232]: df 
Out[232]:  
                      T1   T2   T3  id 
date_time                              
2001-01-01 00:00:00  1.0  2.0  3.0   3 
2001-01-01 03:00:00  1.3  2.3  3.3   3 

如果我只想比较两个站点,在这种情况下忽略 T3,df.dropna(subset=['T1','T2'])结果:

In [234]: df 
Out[234]:  
                      T1   T2   T3  id 
date_time                              
2001-01-01 00:00:00  1.0  2.0  3.0   3 
2001-01-01 02:00:00  1.2  2.2  NaN   3 
2001-01-01 03:00:00  1.3  2.3  3.3   3 

这是要走的路吗?仍然感觉有点不像 Pandas ......?