我有一个巨大的 Pandas 数据框,有数百万行和数千列。 请参阅下面的示例。
X Y col_1 col_2 col_3 col_4 col_5 col_6 col_7 col_8 col_9 col_10
0 A 1 0 0 0 0 0 1 1 1 1 1
1 B 1 0 0 0 0 0 1 1 1 1 1
2 C 2 0 0 0 0 0 1 1 1 1 1
3 A 3 0 0 0 0 0 1 1 1 1 1
我想在 X 和 Y 上使用 pd.melt 融化数据框 col_1 到 col_10。我的原始数据框中将有更多列。
我可以这样做,
pd.melt(s, ['X', 'Y'], [x for x in s.columns if x not in ['X', 'Y']])
熔化后,我将有一个像这样的数据框,
X Y variable value
0 A 1 col_1 0
1 B 1 col_1 0
2 C 2 col_1 0
3 A 3 col_1 0
4 A 1 col_2 0
5 B 1 col_2 0
6 C 2 col_2 0
7 A 3 col_2 0
8 A 1 col_3 0
9 B 1 col_3 0
10 C 2 col_3 0
11 A 3 col_3 0
12 A 1 col_4 0
13 B 1 col_4 0
14 C 2 col_4 0
15 A 3 col_4 0
16 A 1 col_5 0
17 B 1 col_5 0
18 C 2 col_5 0
19 A 3 col_5 0
20 A 1 col_6 1
21 B 1 col_6 1
22 C 2 col_6 1
23 A 3 col_6 1
24 A 1 col_7 1
25 B 1 col_7 1
26 C 2 col_7 1
27 A 3 col_7 1
28 A 1 col_8 1
29 B 1 col_8 1
30 C 2 col_8 1
31 A 3 col_8 1
32 A 1 col_9 1
33 B 1 col_9 1
34 C 2 col_9 1
35 A 3 col_9 1
36 A 1 col_10 1
37 B 1 col_10 1
38 C 2 col_10 1
39 A 3 col_10 1
我只对值为 1 的行感兴趣,所以我会做
melted.loc[melted['value'] == 1]
只获取需要的行。
但是当我的数据如此庞大时,我会出现内存不足错误,因为融化的数据会填满我的 RAM 并阻塞它。这完全有道理。
我想在熔化自身的同时根据变量进行过滤。像 melt_filter 这样我就不会耗尽内存。
在我上面显示的示例中,col_6 到 col_10 列只有 1 然后它可以预先过滤然后融化。但这不是实际情况。我将有一些行将混合 0 和 1。因此我无法事先过滤。
这样的事情可能吗?如果是怎么办?
编辑:许多评论解释了通过某种方式过滤数据并融化数据。我不能那样做,因为在实际数据中,没有列会完全为 0,也没有列会完全为 1。它将是 0 和 1 的混合。
请您参考如下方法:
更新 感谢@rafaelc 的评论。我相信这个使用 np.nonzero 的解决方案内存效率更高:
cols = df.columns[2:]
nonzeros = np.nonzero(df[cols].values)
# nonzeros consist of two arrays
# nonzeros[0] is the row coordinates of nonzero values
# nonzeros[1] is the col coordinates of nonzero values
# all we need is to extract rows at ['X','Y']
# and corresponding columns
# for each nonzero value:
pd.concat((df.loc[nonzeros[0], df.columns[:2]].reset_index(drop=True),
df.columns[nonzeros[1]].to_frame().reset_index(drop=True)
),
axis=1
)
输出(值部分不重要,反正都是1):
X Y 0
0 A 1 col_4
1 A 1 col_5
2 A 1 col_6
3 A 1 col_7
4 A 1 col_8
5 B 1 col_4
6 B 1 col_5
7 B 1 col_6
8 B 1 col_7
9 B 1 col_8
10 C 2 col_4
11 C 2 col_5
12 C 2 col_6
13 C 2 col_7
14 C 2 col_8
15 A 3 col_4
16 A 3 col_5
17 A 3 col_6
18 A 3 col_7
19 A 3 col_8
