我目前正在使用以下形式的数据框:
import pandas as pd
import numpy as np
df = pd.DataFrame([['A', 12.1, 11.4, 15.1, 9.9], ['B', 8.3, 10.3, 16.6, 7.8], ['B', 7.8, 11.1, 16.3, 8.4],
['B', 8.6, 10.9, 16.4, 8.1], ['A', 12.25, 11.6, 16.25, 8.9], ['B', 8.13, 11.6, 16.7, 7.4]
], columns = ['Symbol', 'C1','C2', 'C3', 'C4'])
还有一个列表列表,其中包含我想要进行的列之间的比较:
lst = [['C1','C2'], ['C1','C3'], ['C3','C4']]
我正在尝试计算每次比较的均值(重复符号)的差异,并执行 ttest_ind 然后返回一个新的数据帧,其结果如下所示:
df2 = pd.DataFrame([['A', 0.675, 'pval here', -3.5, 'pval here',6.275,'pval here'],
['B', -2.7675, 'pval here', -8.2925, 'pval here', 8.575 , 'pval here']],
columns = ['Symbol', 'C1-C2','C1-C2 pval', 'C1-C3', 'C1-C3 pval', 'C3-C4','C3-C4 pval'])
找到均值之间的差异有点简单,使用 groupby 获取均值然后遍历列表对:
df = df.groupby('Symbol').agg(np.mean)
for pair in lst:
df[pair[0]+'-'+pair[1]] = df[pair[0]] - df[pair[1]]
但我一直坚持应用 ttest_ind,然后将 p-vaule 返回到另一列。
非常感谢任何帮助。
请您参考如下方法:
您可以使用方法scipy.stats.ttest_ind为此。
该方法返回一个包含(t-statistic, p-value) 的元组。所以我们可以访问索引为 1 的 p-value,如下所示:
# Dataframe I start with, given by OP
df = df.groupby('Symbol').agg(np.mean)
for pair in lst:
df[pair[0]+'-'+pair[1]] = df[pair[0]] - df[pair[1]]
print(df)
C1 C2 C3 C4 C1-C2 C1-C3 C3-C4
Symbol
A 12.1750 11.500 15.675 9.400 0.6750 -3.5000 6.275
B 8.2075 10.975 16.500 7.925 -2.7675 -8.2925 8.575
from scipy.stats import ttest_ind
lst = [['C1','C2'], ['C1','C3'], ['C3','C4']]
df_group = df.groupby('Symbol').sum()
for l in lst:
df_group[l[0]+'-'+l[1]+' pval'] = ttest_ind(df_group[l[0]], df_group[l[1]])[1]
# Drop columns not needed anymore
df = df_group.drop(['C1', 'C2', 'C3', 'C4'],axis=1)
# Sort columns to get expected output
df = df.reindex(sorted(df.columns), axis=1).reset_index()
print(df)
Symbol C1-C2 C1-C2 pval C1-C3 C1-C3 pval C3-C4 C3-C4 pval
0 A 0.6750 0.653228 -3.5000 0.100586 6.275 0.012706
1 B -2.7675 0.653228 -8.2925 0.100586 8.575 0.012706
