我正在尝试获取一个表格,其中包含 A 和 B 的统计数据(均值、var、标准差等),给定 Y=1 和 Y=0。 例如:
给定这个数据框:
df = pd.DataFrame({'A': [0, 0.91, np.NaN, 0.75, np.NaN, 1],
'B': [0.43, 1, 0.34, np.NaN, 0, 0.64],
'Y': [1, 0, 1, 1, 0, 1]
})
我正在计算统计数据:
for i in df:
print(i)
print("Mean Y1 " + " " + str(df[i][df["Y"]==1].mean()))
print("Mean Y0 " + " " + str(df[i][df["Y"]==0].mean()))
print("Var Y1 " + " " + str(np.var(df[i][df["Y"]==1])))
print("Var Y0 " + " " + str(np.var(df[i][df["Y"]==0])))
但是,我无法比较它们,所以我尝试创建一个包含如下统计信息的表:
stats = pd.DataFrame({'Column names': ['A', 'B', 'Y']
'Mean Y1': [A_mean_given_Y==1, B_mean_given_Y==1, Z],
'Mean Y0': [A_mean_given_Y==0, B_mean_given_Y==0, Z],
'Var Y1': [A_var_given_Y==1, B_var_given_Y==1, Z],
'Var Y0': [A_var_given_Y==0, B_var_given_Y==0, Z]
})
# NOTE: Z is any number, as its value doesn't matter.
但是,df 不接受函数 .append,因为它用于列表。并在计算统计数据后转换数据框中的列表列表,效率非常低。那么,知道如何使用循环创建统计数据框吗?
请您参考如下方法:
我觉得需要先DataFrameGroupBy.agg通过聚合函数列表,然后展平 MultiIndex,如果需要 reshape ,也可以添加 stack或 unstack :
df1 = df.groupby('Y').agg(['mean','var'])
df1.columns = df1.columns.map('_'.join)
print (df1)
A_mean A_var B_mean B_var
Y
0 0.910000 NaN 0.50 0.5000
1 0.583333 0.270833 0.47 0.0237
或者:
df1 = df.groupby('Y').agg(['mean','var']).stack().sort_index(level=1)
df1.index = ['{}_{}'.format(j, i) for i, j in df1.index]
print (df1)
A B
mean_0 0.910000 0.5000
mean_1 0.583333 0.4700
var_0 NaN 0.5000
var_1 0.270833 0.0237
或者:
df1 = df.groupby('Y').agg(['mean','var']).stack(0).unstack(0)
df1.columns = ['{}_{}'.format(i,j) for i, j in df1.columns]
print (df1)
mean_0 mean_1 var_0 var_1
A 0.91 0.583333 NaN 0.270833
B 0.50 0.470000 0.5 0.023700
对于输出中的系列:
s = df.groupby('Y').agg(['mean','var']).unstack()
s.index = ['{}_{}_{}'.format(i,j,k) for i, j,k in s.index]
print (s)
A_mean_0 0.910000
A_mean_1 0.583333
A_var_0 NaN
A_var_1 0.270833
B_mean_0 0.500000
B_mean_1 0.470000
B_var_0 0.500000
B_var_1 0.023700
dtype: float64
