我有一个像这样的 Pandas DataFrame:
n = 6000
my_data = DataFrame ({
"Category" : np.random.choice (['cat1','cat2'], size=n) ,
"val_1" : np.random.randn(n) ,
"val_2" : [i for i in range (1,n+1)]
})
我想计算一列的计数和另外两列的均值,按类别 聚合。这在 pandas 文档中描述为 "Applying different functions to DataFrame columns" ,我是这样做的:
counts_and_means = \
my_data.groupby("Category").agg (
{
"Category" : np.count_nonzero ,
"val_1" : np.mean ,
"val_2" : np.mean
}
)
我还想计算 val_2 的 t 检验 p 变量,检验 val_2 的均值为零的假设。如果 val_2 是我在整个过程中所做的唯一列,我可以按照 Pandas 文档中描述的 "Applying multiple functions at once." 进行操作。但是,我正在尝试同时执行多列和多项功能。当它只是“一次多个函数”的情况时,我可以明确地命名输出列,但是当涉及多个列时,我无法弄清楚如何去做。现在,当我尝试在一个 agg(...) 步骤中完成所有操作时,val_2 p 值列定义会覆盖原始均值列定义,因为它们它们都在同一个 dict 中。所以,我最终需要创建第二个 DataFrame 并加入它们:
val_tests = \
my_data.groupby("Category").agg (
{
"val_2" : lambda arr : sp.stats.ttest_1samp(arr, popmean=0)[1]
}
) \
.rename (columns={"val_2" : "p_val_2"})
results = pd.merge(counts_and_means, val_tests, left_index=True, right_index=True)
我的问题:有没有办法在一个 agg(...) 步骤中完成所有这些,而不必创建第二个结果 DataFrame 并执行 合并?
(请参阅我的另一个密切相关的 agg 问题 here。)
请您参考如下方法:
你可以试试这个。我正在传递 val_2 的函数列表
def ttest(arr):
return stats.ttest_1samp(arr, popmean=0)[1]
counts_and_means = \
my_data.groupby("Category").agg (
{
"Category" : np.count_nonzero ,
"val_1" : np.mean ,
"val_2" : [np.mean,ttest]
}
)
如果你喜欢稍微短一点的版本
counts_and_means = \
my_data.groupby("Category").agg (
{
"Category" : np.count_nonzero ,
"val_1" : np.mean ,
"val_2" : [np.mean,lambda arr : stats.ttest_1samp(arr, popmean=0)[1]]
}
)
这产生
Category val_1 val_2
count_nonzero mean mean ttest
Category
cat1 3059 0.007861 2990.997712 0
cat2 2941 -0.007450 3010.383543 0
根据您在下面的评论,您可以“展平”您的列
你可以放下一个关卡
counts_and_means.columns = counts_and_means.columns.droplevel()
counts_and_means
但这会删除顶层,留下重复的列名
count_nonzero mean mean ttest
Category
cat1 3059 0.007861 2990.997712 0
cat2 2941 -0.007450 3010.383543 0
这可能是一个更好的选择。它使用列表 comp 来连接我从 here 获得的列名
counts_and_means.columns = ['%s%s' % (a, '_%s' % b if b else '')
for a, b in counts_and_means.columns]
counts_and_means
Category_count_nonzero val_1_mean val_2_mean val_2_ttest
Category
cat1 3059 0.007861 2990.997712 0
cat2 2941 -0.007450 3010.383543 0
