我有两个每日数据的 pandas DataFrame:
import pandas as pd
dates = pd.date_range('2016-01-01', '2018-01-01')
ndays = len(dates)
df1 = pd.DataFrame(np.random.rand(ndays, 3), columns=['a','b','c'], index=dates)
df2 = pd.DataFrame(np.random.rand(ndays, 3), columns=['a','b','c'], index=dates)
我想在非重叠的月度段中获取每个数据框中值的相关性。返回值应该是一个按月索引的 DataFrame,包含 ['a','b','c'] 列,其中每个值都是该日历月 df1 和 df2 中每日值的相关性。
我可以在列和月份上循环执行此计算,但这听起来不像 Pandas 会做的那样。有没有办法根据日历月拆分两个数据框,在它们之间应用相关性,然后组合成一个数据框?
请您参考如下方法:
这是一个有点凌乱的单行:
pd.DataFrame.from_dict({col:pd.concat([df1[[col]],df2[[col]]],axis=1).groupby(pd.Grouper(freq='M')).apply(lambda x: x.corr().values[0,1]) for col in df1.columns})
基本上我为每一列创建一个新的数据框,每个月计算相关矩阵,然后取非对角线(互相关)元素。可能有更漂亮的方法来做到这一点,但这似乎很快就能奏效。
