Skip to main content
 首页 » 编程设计

python之如何使用 python3 在 "horizontal union"中加入两个 pandas DataFrame

2025年04月02日14xiaohuochai

我必须使用 python、pandas 和 numpy 处理大型 .csv 文件,这是来自更精细的数据集 (A) 的示例,时间戳以 15 分钟为间隔:

Timestamp,Real Energy Into the Load 
2016-06-01T11:00:00, 2 
2016-06-01T10:45:00, 1 
2016-06-01T10:30:00, 5 
2016-06-01T10:15:00, 3 
2016-06-01T10:00:00, 3 
2016-06-01T09:45:00, 6 
2016-06-01T09:30:00, 2 
... 

这是来自粒度较小的数据集 (B) 的样本,时间戳相隔大约一小时,但时间戳之间存在很大差异。

TimeEDT, TemperatureF, Dew PointF 
2016-06-01T10:33:00,82.0,66.0 
2016-06-01T09:34:00,79.0,64.9 
2016-06-01T09:20:00,75.9,64.9 
... 

我想将它们组合起来,通过对数据框 A 的行的平均值进行分组,使组合后的数据框的行数与数据框 B 的行数相同。与此对应的最后几行是:

TimeEDT, TemperatureF, Dew PointF, Real Energy Into The Load 
2016-06-01T10:33:00,82.0,66.0, 1.5  # average of (1, 2) 
2016-06-01T09:34:00,79.0,64.9, 4.25 # average of (6, 3, 3, 5) 
2016-06-01T09:20:00,75.9,64.9, 2    # average of (2,) 
... 

我认为这在 SQL 中称为水平联合。

我已经尝试过的事情: 我获取了数据集 B (dfB) 并使用 dfB['TimeEDT'].apply 将每个日期“下限”到每小时 15 分钟的间隔。从那里,我可以使用 groupby 函数将行汇总在一起,至少在行之间具有一对一的对应关系,但我仍然需要水平添加数据框。但我想有一个更直接的方式来做到这一点。理想情况下,groupby 的参数可以是一些用户定义的比较

请您参考如下方法:

或许您可以执行以下操作。如果一个小时内没有值,我还没有检查它是否有效,但这是我的想法。

In[1]: import pandas as pd 
 
In[2]: import numpy as np 
 
In[3]: df1 = pd.DataFrame({"TemperatureF": np.random.random_integers(60, 90, 20), "DewPointF": np.random.random_integers(60, 90, 20)}, index = pd.date_range("2016-06-01 09:00:00", periods=20, freq="15min")) 
 
In[4]: df2 = pd.DataFrame({"TemperatureF": np.random.random_integers(60, 90, 5), "DewPointF": np.random.random_integers(60, 90, 5), "RealEnergy": np.random.uniform(1.0, 5.0, 5)}, index = pd.date_range("2016-06-01 09:30:00", periods=5, freq="H")) 
 
In[5]: df1 
Out[5]:  
                     DewPointF  TemperatureF 
2016-06-01 09:00:00         66            71 
2016-06-01 09:15:00         84            68 
2016-06-01 09:30:00         68            74 
2016-06-01 09:45:00         66            85 
2016-06-01 10:00:00         70            72 
2016-06-01 10:15:00         63            78 
2016-06-01 10:30:00         82            83 
2016-06-01 10:45:00         67            79 
2016-06-01 11:00:00         63            76 
2016-06-01 11:15:00         72            80 
2016-06-01 11:30:00         82            61 
2016-06-01 11:45:00         60            81 
2016-06-01 12:00:00         77            76 
2016-06-01 12:15:00         78            60 
2016-06-01 12:30:00         75            60 
2016-06-01 12:45:00         83            67 
2016-06-01 13:00:00         84            81 
2016-06-01 13:15:00         66            66 
2016-06-01 13:30:00         80            84 
2016-06-01 13:45:00         87            69 
 
In[6]: df2 
Out[6]:  
                     DewPointF  RealEnergy  TemperatureF 
2016-06-01 09:30:00         84    2.479343            88 
2016-06-01 10:30:00         64    1.428840            67 
2016-06-01 11:30:00         88    3.214666            83 
2016-06-01 12:30:00         72    4.280898            71 
2016-06-01 13:30:00         62    3.376502            78 
 
 
In[7]: df2.merge(df1.groupby(df1.index.hour)["DewPointF", "TemperatureF"].mean(), on=df2.index.hour) 
Out[7]:  
   key_0  DewPointF_x  RealEnergy  TemperatureF_x  DewPointF_y  TemperatureF_y 
0      9           84    2.479343              88        71.00           74.50 
1     10           64    1.428840              67        70.50           78.00 
2     11           88    3.214666              83        69.25           74.50 
3     12           72    4.280898              71        78.25           65.75 
4     13           62    3.376502              78        79.25           75.00