Pandas 整理数据,从一列传播变量,从另一列收集
我的问题
我需要将下面的数据框转换为 tidy 格式,其中每一行都是唯一的 ['GEOG_CODE','COUNTRY'] - ' YEAR'配对,有两个变量,由Group1定义。
使用 Hadley Wickham 的符号表示 tidy data :
- 观察由位置-时间配对定义。
- 变量由
Group1列定义 - 值当前存储在列
['2016' '2017' '2018']中的不同年份。
在 R 中我想:
收集['2016' '2017' '2018'] 列中的值。传播Group1的值。- 参见 Garrett Grolemund's explanation here
对于我的问题:
- 位置 由
['GEOG_CODE','COUNTRY']定义。 - 值在不同时间定义在列
['2016' '2017' '2018']中。 - 变量 由
Group1 == A或Group1 == B定义。
我想将每一行作为一个位置-时间对,包含两个变量。一个用于 Group1 = A,一个用于 Group1 = B
我有这个
toy_data = {
'GEOG_CODE':['123','234','567','901'],
'COUNTRY':['England' for _ in range(4)],
'Group1':['A','A','B','B'],
'2016':np.arange(0,4),
'2017':np.arange(0,4),
'2018':np.arange(0,4),
}
in_df = pd.DataFrame(toy_data)
in_df
Out[]:
GEOG_CODE COUNTRY Group1 2016 2017 2018
0 123 England A 0 0 0
1 234 England A 1 1 1
2 567 England B 2 2 2
3 901 England B 3 3 3
我要这个
所以我希望输出看起来像下面的数据框,其中包含 'Group1'
outcome_data = {
'GEOG_CODE': np.tile(['123','234','567','901'],3),
'COUNTRY':['England' for _ in range(4*3)],
'year':np.tile([2016,2017,2018],4),
'low_A':np.tile(np.arange(0,4),3),
'low_B':np.tile(np.arange(0,4),3),
}
out = pd.DataFrame(outcome_data)
out
Out[]:
GEOG_CODE COUNTRY year low_A low_B
0 123 England 2016 0 0
1 234 England 2017 1 1
2 567 England 2018 2 2
3 901 England 2016 3 3
4 123 England 2017 0 0
5 234 England 2018 1 1
6 567 England 2016 2 2
7 901 England 2017 3 3
8 123 England 2018 0 0
9 234 England 2016 1 1
10 567 England 2017 2 2
11 901 England 2018 3 3
我试过 df.melt()
我设法通过使用 melt 功能获得了一半的数据,但后来我不知道如何将组转换为行。
id_vars = ['GEOG_CODE', 'COUNTRY', 'Group1']
value_vars = ['2016', '2017', '2018']
var_name = 'Year'
value_name = 'low_Value'
melt = in_df.melt(id_vars=id_vars,value_vars=value_vars,var_name=var_name, value_name=value_name)
melt
Out[]:
GEOG_CODE COUNTRY Group1 Year low_Value
0 123 England A 2016 0
1 234 England A 2016 1
2 567 England B 2016 2
3 901 England B 2016 3
4 123 England A 2017 0
5 234 England A 2017 1
6 567 England B 2017 2
7 901 England B 2017 3
8 123 England A 2018 0
9 234 England A 2018 1
10 567 England B 2018 2
11 901 England B 2018 3
请您参考如下方法:
也许您正在寻找 stack 而不是 melt:
(df.set_index(['GEOG_CODE', 'COUNTRY', 'Group1'])
.stack()
.unstack(-2)
.ffill(axis=1)
.bfill(axis=1, downcast='infer')
.add_prefix('low_')
.reset_index()
.rename({'level_2': 'year'}, axis=1))
Group1 GEOG_CODE COUNTRY year low_A low_B
0 123 England 2016 0 0
1 123 England 2017 0 0
2 123 England 2018 0 0
3 234 England 2016 1 1
4 234 England 2017 1 1
5 234 England 2018 1 1
6 567 England 2016 2 2
7 567 England 2017 2 2
8 567 England 2018 2 2
9 901 England 2016 3 3
10 901 England 2017 3 3
11 901 England 2018 3 3
