Skip to main content
 首页 » 编程设计

python之Pandas:将数据帧存储在多个 json 文件中

2024年12月31日8zlslch

我有一个非常大的 pandas 数据框,如下所示:

X1      | X2      | y 
[1,2,3] | [1,5,6] | 2.5 
[3,2,1] | [2,1,3] | 3 
... 

由于数据帧非常大,我想将它存储在多个包含部分数据帧的文件中(比如说 3 个文件,每个文件占数据帧的 33%)。有什么办法吗?

请您参考如下方法:

当然,拆分它:

split1 = len(df) // 3 
split2 = split1 * 2 
 
df.iloc[:split1].to_json(...) 
df.iloc[split1:split2].to_json(...) 
df.iloc[split2:].to_json(...) 

每个文件写一列可能更有意义:

for col in df.columns: 
    df[col].to_json(...)