Skip to main content
 首页 » 编程设计

python之Pandas:聚合多个函数并将其应用于同一列

2024年10月25日10qq78292959

我有一个像这样的 Pandas DataFrame:

n = 6000 
my_data = DataFrame ({ 
    "Category"  : np.random.choice (['cat1','cat2'], size=n) , 
    "val_1"     : np.random.randn(n) , 
    "val_2"     : [i for i in range (1,n+1)] 
}) 

我想计算一列的计数和另外两列的均值,按类别 聚合。这在 pandas 文档中描述为 "Applying different functions to DataFrame columns" ,我是这样做的:

counts_and_means = \ 
    my_data.groupby("Category").agg ( 
        { 
            "Category"  : np.count_nonzero , 
            "val_1"     : np.mean , 
            "val_2"     : np.mean 
        } 
    ) 

我还想计算 val_2 的 t 检验 p 变量,检验 val_2 的均值为零的假设。如果 val_2 是我在整个过程中所做的唯一列,我可以按照 Pandas 文档中描述的 "Applying multiple functions at once." 进行操作。但是,我正在尝试同时执行多列和多项功能。当它只是“一次多个函数”的情况时,我可以明确地命名输出列,但是当涉及多个列时,我无法弄清楚如何去做。现在,当我尝试在一个 agg(...) 步骤中完成所有操作时,val_2 p 值列定义会覆盖原始均值列定义,因为它们它们都在同一个 dict 中。所以,我最终需要创建第二个 DataFrame 并加入它们:

val_tests = \ 
    my_data.groupby("Category").agg ( 
        { 
            "val_2"     : lambda arr : sp.stats.ttest_1samp(arr, popmean=0)[1] 
        } 
    ) \ 
    .rename (columns={"val_2" : "p_val_2"}) 
 
results = pd.merge(counts_and_means, val_tests, left_index=True, right_index=True) 

我的问题:有没有办法在一个 agg(...) 步骤中完成所有这些,而不必创建第二个结果 DataFrame 并执行 合并?

(请参阅我的另一个密切相关的 agg 问题 here。)

请您参考如下方法:

你可以试试这个。我正在传递 val_2 的函数列表

def ttest(arr):      
    return stats.ttest_1samp(arr, popmean=0)[1] 
 
counts_and_means = \ 
    my_data.groupby("Category").agg ( 
        { 
            "Category"  : np.count_nonzero , 
            "val_1"     : np.mean , 
            "val_2"     : [np.mean,ttest] 
        } 
    ) 

如果你喜欢稍微短一点的版本

counts_and_means = \ 
    my_data.groupby("Category").agg ( 
        { 
            "Category"  : np.count_nonzero , 
            "val_1"     : np.mean , 
            "val_2"     : [np.mean,lambda arr : stats.ttest_1samp(arr, popmean=0)[1]] 
        } 
    ) 

这产生

     Category      val_1            val_2 
         count_nonzero  mean        mean    ttest 
Category                 
cat1     3059           0.007861    2990.997712 0 
cat2     2941          -0.007450    3010.383543 0 

根据您在下面的评论,您可以“展平”您的列

你可以放下一个关卡

counts_and_means.columns = counts_and_means.columns.droplevel() 
counts_and_means 

但这会删除顶层,留下重复的列名

           count_nonzero    mean        mean       ttest 
Category                 
cat1       3059             0.007861    2990.997712 0 
cat2       2941            -0.007450    3010.383543 0 

这可能是一个更好的选择。它使用列表 comp 来连接我从 here 获得的列名

counts_and_means.columns = ['%s%s' % (a, '_%s' % b if b else '')  
                           for a, b in counts_and_means.columns] 
counts_and_means 
 
            Category_count_nonzero  val_1_mean  val_2_mean   val_2_ttest 
Category                 
cat1        3059                    0.007861    2990.997712  0 
cat2         2941                  -0.007450    3010.383543  0