Skip to main content
 首页 » 编程设计

python之一次熔化和过滤 Pandas 数据框

2024年11月24日998°冷暖

我有一个巨大的 Pandas 数据框,有数百万行和数千列。 请参阅下面的示例。

X   Y   col_1   col_2   col_3   col_4   col_5   col_6   col_7   col_8   col_9   col_10 
0   A   1   0   0   0   0   0   1   1   1   1   1 
1   B   1   0   0   0   0   0   1   1   1   1   1 
2   C   2   0   0   0   0   0   1   1   1   1   1 
3   A   3   0   0   0   0   0   1   1   1   1   1 

我想在 X 和 Y 上使用 pd.melt 融化数据框 col_1 到 col_10。我的原始数据框中将有更多列。

我可以这样做,

pd.melt(s, ['X', 'Y'], [x for x in s.columns if x not in ['X', 'Y']]) 

熔化后,我将有一个像这样的数据框,

    X   Y   variable    value 
0   A   1   col_1   0 
1   B   1   col_1   0 
2   C   2   col_1   0 
3   A   3   col_1   0 
4   A   1   col_2   0 
5   B   1   col_2   0 
6   C   2   col_2   0 
7   A   3   col_2   0 
8   A   1   col_3   0 
9   B   1   col_3   0 
10  C   2   col_3   0 
11  A   3   col_3   0 
12  A   1   col_4   0 
13  B   1   col_4   0 
14  C   2   col_4   0 
15  A   3   col_4   0 
16  A   1   col_5   0 
17  B   1   col_5   0 
18  C   2   col_5   0 
19  A   3   col_5   0 
20  A   1   col_6   1 
21  B   1   col_6   1 
22  C   2   col_6   1 
23  A   3   col_6   1 
24  A   1   col_7   1 
25  B   1   col_7   1 
26  C   2   col_7   1 
27  A   3   col_7   1 
28  A   1   col_8   1 
29  B   1   col_8   1 
30  C   2   col_8   1 
31  A   3   col_8   1 
32  A   1   col_9   1 
33  B   1   col_9   1 
34  C   2   col_9   1 
35  A   3   col_9   1 
36  A   1   col_10  1 
37  B   1   col_10  1 
38  C   2   col_10  1 
39  A   3   col_10  1 

我只对值为 1 的行感兴趣,所以我会做

melted.loc[melted['value'] == 1]

只获取需要的行。

但是当我的数据如此庞大时,我会出现内存不足错误,因为融化的数据会填满我的 RAM 并阻塞它。这完全有道理。

我想在熔化自身的同时根据变量进行过滤。像 melt_filter 这样我就不会耗尽内存。

在我上面显示的示例中,col_6 到 col_10 列只有 1 然后它可以预先过滤然后融化。但这不是实际情况。我将有一些行将混合 0 和 1。因此我无法事先过滤。

这样的事情可能吗?如果是怎么办?

编辑:许多评论解释了通过某种方式过滤数据并融化数据。我不能那样做,因为在实际数据中,没有列会完全为 0,也没有列会完全为 1。它将是 0 和 1 的混合。

请您参考如下方法:

更新 感谢@rafaelc 的评论。我相信这个使用 np.nonzero 的解决方案内存效率更高:

cols = df.columns[2:] 
nonzeros = np.nonzero(df[cols].values) 
 
# nonzeros consist of two arrays 
# nonzeros[0] is the row coordinates of nonzero values 
# nonzeros[1] is the col coordinates of nonzero values 
 
# all we need is to extract rows at ['X','Y']  
# and corresponding columns 
# for each nonzero value: 
pd.concat((df.loc[nonzeros[0], df.columns[:2]].reset_index(drop=True), 
           df.columns[nonzeros[1]].to_frame().reset_index(drop=True) 
          ), 
          axis=1 
         ) 

输出(值部分不重要,反正都是1):

    X   Y   0 
0   A   1   col_4 
1   A   1   col_5 
2   A   1   col_6 
3   A   1   col_7 
4   A   1   col_8 
5   B   1   col_4 
6   B   1   col_5 
7   B   1   col_6 
8   B   1   col_7 
9   B   1   col_8 
10  C   2   col_4 
11  C   2   col_5 
12  C   2   col_6 
13  C   2   col_7 
14  C   2   col_8 
15  A   3   col_4 
16  A   3   col_5 
17  A   3   col_6 
18  A   3   col_7 
19  A   3   col_8