如何 reshape 数据框,其中列的子集是某些 x 值的 y 值?
df_record = pd.DataFrame({
'date' : ['2019-03-17', '2019-03-17', '2019-03-17', '2019-03-17'],
'id' : ['a', 'a', 'b', 'b'],
'meta' : ['A', 'B', 'A', 'B'],
'y11' : [0.1, 0.2, 0.3, 0.4],
'y12' : [1, 2, 3, 4],
'y21' : [10, 20, 30, 40],
'y22' : [100, 200, 300, 400],
})
在此示例中,y12、y12、y21 和 y22 对应于例如[10,20,100,200]。 我可以将其添加到每一行:
xs = [10,20,100,200]
df_ = pd.DataFrame()
for i in range(len(df_record)):
xs_ = pd.Series(xs, name=i)
df_ = pd.concat([df_, xs_], axis=1)
df_['xs'] = [ 'x%i'%i for i in xs ]
pd_ = pd.concat([df_record, df_.set_index('xs').T], axis=1)
打印:
date id meta y11 y12 y21 y22 x10 x20 x100 x200
0 2019-03-17 a A 0.1 1 10 100 10 20 100 200
1 2019-03-17 a B 0.2 2 20 200 10 20 100 200
2 2019-03-17 b A 0.3 3 30 300 10 20 100 200
3 2019-03-17 b B 0.4 4 40 400 10 20 100 200
但现在我迷路了。我很确定像 df_.pivot() 这样的东西应该可以帮助我反射(reflect)结构,即 xs 是一个索引级别,如 ['date', 'id', 'meta ', 'xs'].
提前致谢!
附言。如何从 Jupyter NB 发布上述命令的结果?
请您参考如下方法:
您可以使用指定的索引和列值以及 DataFrame.join 创建新的 DataFrame转为原文:
xs = [10,20,100,200]
cols = [f'x{x}' for x in xs]
df = df_record.join(pd.DataFrame([xs], index=df_record.index, columns=cols))
print (df)
date id meta y11 y12 y21 y22 x10 x20 x100 x200
0 2019-03-17 a A 0.1 1 10 100 10 20 100 200
1 2019-03-17 a B 0.2 2 20 200 10 20 100 200
2 2019-03-17 b A 0.3 3 30 300 10 20 100 200
3 2019-03-17 b B 0.4 4 40 400 10 20 100 200
然后通过 DataFrame.melt reshape :
df1 = df.melt(['id', 'date', 'meta'], value_name='xs')
print (df1.head())
id date meta variable xs
0 a 2019-03-17 A y11 0.1
1 a 2019-03-17 B y11 0.2
2 b 2019-03-17 A y11 0.3
3 b 2019-03-17 B y11 0.4
4 a 2019-03-17 A y12 1.0
如果需要删除列变量:
df1 = df1.drop('variable',axis=1)
print (df1.head())
id date meta xs
0 a 2019-03-17 A 0.1
1 a 2019-03-17 B 0.2
2 b 2019-03-17 A 0.3
3 b 2019-03-17 B 0.4
4 a 2019-03-17 A 1.0
编辑:
对于指定列,可以使用:
df - pd.melt(df_concat,
id_vars=['id', 'date', 'meta'],
value_vars=['y11', 'y12', 'y21', 'y22'],
var_name='ys',
value_name='xs')
