我有一个非常大的 pandas 数据框,如下所示:
X1 | X2 | y
[1,2,3] | [1,5,6] | 2.5
[3,2,1] | [2,1,3] | 3
...
由于数据帧非常大,我想将它存储在多个包含部分数据帧的文件中(比如说 3 个文件,每个文件占数据帧的 33%)。有什么办法吗?
请您参考如下方法:
当然,拆分它:
split1 = len(df) // 3
split2 = split1 * 2
df.iloc[:split1].to_json(...)
df.iloc[split1:split2].to_json(...)
df.iloc[split2:].to_json(...)
每个文件写一列可能更有意义:
for col in df.columns:
df[col].to_json(...)
