Skip to main content
 首页 » 编程设计

python之python中的条件统计摘要数据框

2025年01月19日6tuyile006

我正在尝试获取一个表格,其中包含 A 和 B 的统计数据(均值、var、标准差等),给定 Y=1 和 Y=0。 例如:

给定这个数据框:

df = pd.DataFrame({'A': [0,    0.91, np.NaN, 0.75,   np.NaN, 1],  
                   'B': [0.43, 1,    0.34,   np.NaN, 0,      0.64], 
                   'Y': [1,    0,    1,      1,      0,      1] 
                      }) 

我正在计算统计数据:

for i in df: 
    print(i) 
    print("Mean Y1 " + " " + str(df[i][df["Y"]==1].mean())) 
    print("Mean Y0 " + " " + str(df[i][df["Y"]==0].mean())) 
    print("Var Y1 " + " " + str(np.var(df[i][df["Y"]==1]))) 
    print("Var Y0 " + " " + str(np.var(df[i][df["Y"]==0]))) 

但是,我无法比较它们,所以我尝试创建一个包含如下统计信息的表:

stats = pd.DataFrame({'Column names': ['A', 'B', 'Y'] 
                   'Mean Y1': [A_mean_given_Y==1, B_mean_given_Y==1, Z],  
                   'Mean Y0': [A_mean_given_Y==0, B_mean_given_Y==0, Z], 
                   'Var Y1': [A_var_given_Y==1,   B_var_given_Y==1,  Z], 
                   'Var Y0': [A_var_given_Y==0,   B_var_given_Y==0,  Z]  
                  }) 
 
# NOTE: Z is any number, as its value doesn't matter. 

但是,df 不接受函数 .append,因为它用于列表。并在计算统计数据后转换数据框中的列表列表,效率非常低。那么,知道如何使用循环创建统计数据框吗?

请您参考如下方法:

我觉得需要先DataFrameGroupBy.agg通过聚合函数列表,然后展平 MultiIndex,如果需要 reshape ,也可以添加 stack或 unstack :

df1 = df.groupby('Y').agg(['mean','var']) 
df1.columns = df1.columns.map('_'.join) 
print (df1) 
     A_mean     A_var  B_mean   B_var 
Y                                     
0  0.910000       NaN    0.50  0.5000 
1  0.583333  0.270833    0.47  0.0237 

或者:

df1 = df.groupby('Y').agg(['mean','var']).stack().sort_index(level=1) 
df1.index = ['{}_{}'.format(j, i) for i, j in df1.index] 
print (df1) 
               A       B 
mean_0  0.910000  0.5000 
mean_1  0.583333  0.4700 
var_0        NaN  0.5000 
var_1   0.270833  0.0237 

或者:

df1 = df.groupby('Y').agg(['mean','var']).stack(0).unstack(0) 
df1.columns = ['{}_{}'.format(i,j) for i, j in df1.columns] 
print (df1) 
   mean_0    mean_1  var_0     var_1 
A    0.91  0.583333    NaN  0.270833 
B    0.50  0.470000    0.5  0.023700 

对于输出中的系列:

s = df.groupby('Y').agg(['mean','var']).unstack() 
s.index = ['{}_{}_{}'.format(i,j,k) for i, j,k in s.index] 
print (s) 
A_mean_0    0.910000 
A_mean_1    0.583333 
A_var_0          NaN 
A_var_1     0.270833 
B_mean_0    0.500000 
B_mean_1    0.470000 
B_var_0     0.500000 
B_var_1     0.023700 
dtype: float64