Skip to main content
 首页 » 编程设计

python之对 Dataframe 中的每一列应用 T 检验

2025年02月15日10qq78292959

我有一个数据框(我称之为 PeerGroup),它有大约 20 列,每列都有一组 20 种不同基金的月返回率,可以追溯到大约十年前。我试图确定过去三年的平均返回率在统计上是否与整个业绩记录的平均值不同。

目前,使用 pandas,我可以像这样一次测试一个列:

import pandas as pd 
import statsmodels as st 
PeerGroup = pd.read_excel['File\Path.xlsx'] 
df['Fund1'] = st.ttest_ind(PeerGroup['Column1'], PeerGroup['Column1'].tail(36), equal_var='False') 

但是,如果可能的话,我想一次性对数据框中的每一列运行测试。我最好的想法是做这样的事情,但它变成了一个 IndexError。有什么想法吗?

df['All_Funds'] = PeerGroup[PeerGroup.columns[1:]].apply(lambda x: st.ttest_ind(PeerGroup[x], PeerGroup[x].tail(36), equal_var='False')) 

请您参考如下方法:

您在此处使用的 pandas.DataFrame.apply 方法将数据集的每一列作为单独的 Series< 馈送到您的 lambda 函数中,但是你的 lambda 写得好像你得到的是一个列名。

为了说明,这里有一个简单的例子:

>>> df = pd.DataFrame({'a': [1,2,3], 'b': [4,5,6]}) 

如果我们用 print 替换方法体,看看传递给函数的是什么:

>>> df.apply(lambda x: print(x)) 
<<< 0    1 
    1    2 
    2    3 
    Name: a, dtype: int64 
    0    4 
    1    5 
    2    6 
    Name: b, dtype: int64 

您的方法调用不起作用,因为您正在使用一堆 Series 对象为 DataFrame 编制索引,每个对象都是数据集的一列,pandas 不知道该怎么办:

>>> df.apply(lambda x: df[x]) 
<<< [...] 
<<< IndexError 

(顺便说一句,您可以使用正确“形状”的Series索引DataFrame;在这个玩具示例中尝试例如 df[pd.Series(['a'])])

既然您已经了您感兴趣的列,解决方案就是简化。这应该有效:

df['All_Funds'] = PeerGroup[PeerGroup.columns[1:]].apply(lambda x: st.ttest_ind(x, x.tail(36), equal_var='False'))