我必须使用 python、pandas 和 numpy 处理大型 .csv 文件,这是来自更精细的数据集 (A) 的示例,时间戳以 15 分钟为间隔:
Timestamp,Real Energy Into the Load
2016-06-01T11:00:00, 2
2016-06-01T10:45:00, 1
2016-06-01T10:30:00, 5
2016-06-01T10:15:00, 3
2016-06-01T10:00:00, 3
2016-06-01T09:45:00, 6
2016-06-01T09:30:00, 2
...
这是来自粒度较小的数据集 (B) 的样本,时间戳相隔大约一小时,但时间戳之间存在很大差异。
TimeEDT, TemperatureF, Dew PointF
2016-06-01T10:33:00,82.0,66.0
2016-06-01T09:34:00,79.0,64.9
2016-06-01T09:20:00,75.9,64.9
...
我想将它们组合起来,通过对数据框 A 的行的平均值进行分组,使组合后的数据框的行数与数据框 B 的行数相同。与此对应的最后几行是:
TimeEDT, TemperatureF, Dew PointF, Real Energy Into The Load
2016-06-01T10:33:00,82.0,66.0, 1.5 # average of (1, 2)
2016-06-01T09:34:00,79.0,64.9, 4.25 # average of (6, 3, 3, 5)
2016-06-01T09:20:00,75.9,64.9, 2 # average of (2,)
...
我认为这在 SQL 中称为水平联合。
我已经尝试过的事情: 我获取了数据集 B (dfB) 并使用 dfB['TimeEDT'].apply 将每个日期“下限”到每小时 15 分钟的间隔。从那里,我可以使用 groupby 函数将行汇总在一起,至少在行之间具有一对一的对应关系,但我仍然需要水平添加数据框。但我想有一个更直接的方式来做到这一点。理想情况下,groupby 的参数可以是一些用户定义的比较
请您参考如下方法:
或许您可以执行以下操作。如果一个小时内没有值,我还没有检查它是否有效,但这是我的想法。
In[1]: import pandas as pd
In[2]: import numpy as np
In[3]: df1 = pd.DataFrame({"TemperatureF": np.random.random_integers(60, 90, 20), "DewPointF": np.random.random_integers(60, 90, 20)}, index = pd.date_range("2016-06-01 09:00:00", periods=20, freq="15min"))
In[4]: df2 = pd.DataFrame({"TemperatureF": np.random.random_integers(60, 90, 5), "DewPointF": np.random.random_integers(60, 90, 5), "RealEnergy": np.random.uniform(1.0, 5.0, 5)}, index = pd.date_range("2016-06-01 09:30:00", periods=5, freq="H"))
In[5]: df1
Out[5]:
DewPointF TemperatureF
2016-06-01 09:00:00 66 71
2016-06-01 09:15:00 84 68
2016-06-01 09:30:00 68 74
2016-06-01 09:45:00 66 85
2016-06-01 10:00:00 70 72
2016-06-01 10:15:00 63 78
2016-06-01 10:30:00 82 83
2016-06-01 10:45:00 67 79
2016-06-01 11:00:00 63 76
2016-06-01 11:15:00 72 80
2016-06-01 11:30:00 82 61
2016-06-01 11:45:00 60 81
2016-06-01 12:00:00 77 76
2016-06-01 12:15:00 78 60
2016-06-01 12:30:00 75 60
2016-06-01 12:45:00 83 67
2016-06-01 13:00:00 84 81
2016-06-01 13:15:00 66 66
2016-06-01 13:30:00 80 84
2016-06-01 13:45:00 87 69
In[6]: df2
Out[6]:
DewPointF RealEnergy TemperatureF
2016-06-01 09:30:00 84 2.479343 88
2016-06-01 10:30:00 64 1.428840 67
2016-06-01 11:30:00 88 3.214666 83
2016-06-01 12:30:00 72 4.280898 71
2016-06-01 13:30:00 62 3.376502 78
In[7]: df2.merge(df1.groupby(df1.index.hour)["DewPointF", "TemperatureF"].mean(), on=df2.index.hour)
Out[7]:
key_0 DewPointF_x RealEnergy TemperatureF_x DewPointF_y TemperatureF_y
0 9 84 2.479343 88 71.00 74.50
1 10 64 1.428840 67 70.50 78.00
2 11 88 3.214666 83 69.25 74.50
3 12 72 4.280898 71 78.25 65.75
4 13 62 3.376502 78 79.25 75.00
