Skip to main content
 首页 » 编程设计

python之Pandas ,堆叠一些列,拆开其他一些

2024年11月24日7Terrylee

Pandas 整理数据,从一列传播变量,从另一列收集

我的问题

我需要将下面的数据框转换为 tidy 格式,其中每一行都是唯一的 ['GEOG_CODE','COUNTRY'] - ' YEAR'配对,有两个变量,由Group1定义。

使用 Hadley Wickham 的符号表示 tidy data :

  • 观察由位置-时间配对定义。
  • 变量由Group1列定义
  • 值当前存储在列 ['2016' '2017' '2018'] 中的不同年份。

在 R 中我想:

对于我的问题:

  • 位置 由 ['GEOG_CODE','COUNTRY'] 定义。
  • 值在不同时间定义在列 ['2016' '2017' '2018'] 中。
  • 变量 由Group1 == A 或Group1 == B 定义。

我想将每一行作为一个位置-时间对,包含两个变量。一个用于 Group1 = A,一个用于 Group1 = B

我有这个

toy_data = { 
    'GEOG_CODE':['123','234','567','901'], 
    'COUNTRY':['England' for _ in range(4)], 
    'Group1':['A','A','B','B'], 
    '2016':np.arange(0,4), 
    '2017':np.arange(0,4), 
    '2018':np.arange(0,4), 
} 
in_df = pd.DataFrame(toy_data) 
in_df 
 
Out[]: 
GEOG_CODE  COUNTRY Group1  2016  2017  2018 
0       123  England      A     0     0     0 
1       234  England      A     1     1     1 
2       567  England      B     2     2     2 
3       901  England      B     3     3     3 
 

我要这个

所以我希望输出看起来像下面的数据框,其中包含 'Group1'

中每个值的列
outcome_data = { 
    'GEOG_CODE': np.tile(['123','234','567','901'],3), 
    'COUNTRY':['England' for _ in range(4*3)], 
    'year':np.tile([2016,2017,2018],4), 
    'low_A':np.tile(np.arange(0,4),3), 
    'low_B':np.tile(np.arange(0,4),3), 
} 
 
out = pd.DataFrame(outcome_data) 
out 
 
Out[]: 
GEOG_CODE  COUNTRY  year  low_A  low_B 
0        123  England  2016      0      0 
1        234  England  2017      1      1 
2        567  England  2018      2      2 
3        901  England  2016      3      3 
4        123  England  2017      0      0 
5        234  England  2018      1      1 
6        567  England  2016      2      2 
7        901  England  2017      3      3 
8        123  England  2018      0      0 
9        234  England  2016      1      1 
10       567  England  2017      2      2 
11       901  England  2018      3      3 

我试过 df.melt()

我设法通过使用 melt 功能获得了一半的数据,但后来我不知道如何将组转换为行。

id_vars = ['GEOG_CODE', 'COUNTRY', 'Group1'] 
value_vars = ['2016', '2017', '2018'] 
var_name = 'Year' 
value_name = 'low_Value' 
 
melt = in_df.melt(id_vars=id_vars,value_vars=value_vars,var_name=var_name, value_name=value_name) 
melt 
 
Out[]: 
GEOG_CODE  COUNTRY Group1  Year  low_Value 
0        123  England      A  2016          0 
1        234  England      A  2016          1 
2        567  England      B  2016          2 
3        901  England      B  2016          3 
4        123  England      A  2017          0 
5        234  England      A  2017          1 
6        567  England      B  2017          2 
7        901  England      B  2017          3 
8        123  England      A  2018          0 
9        234  England      A  2018          1 
10       567  England      B  2018          2 
11       901  England      B  2018          3 

请您参考如下方法:

也许您正在寻找 stack 而不是 melt:

(df.set_index(['GEOG_CODE', 'COUNTRY', 'Group1']) 
   .stack() 
   .unstack(-2) 
   .ffill(axis=1) 
   .bfill(axis=1, downcast='infer') 
   .add_prefix('low_') 
   .reset_index() 
   .rename({'level_2': 'year'}, axis=1)) 
 
Group1 GEOG_CODE  COUNTRY  year  low_A  low_B 
0            123  England  2016      0      0 
1            123  England  2017      0      0 
2            123  England  2018      0      0 
3            234  England  2016      1      1 
4            234  England  2017      1      1 
5            234  England  2018      1      1 
6            567  England  2016      2      2 
7            567  England  2017      2      2 
8            567  England  2018      2      2 
9            901  England  2016      3      3 
10           901  England  2017      3      3 
11           901  England  2018      3      3