Skip to main content
 首页 » 编程设计

python之如何在 dask 数据框中设置(计算)分区

2024年11月24日8unruledboy

从 parquet 或 csv 文件加载数据时,有 NONE 分区。 DASK 文档没有关于如何设置和计算这个的信息....

如何正确设置和计算DASK dataframe的划分?

请您参考如下方法:

如果您从 parquet 读取数据,您可以像本例中那样使用 infer_divisions=True

import dask.dataframe as dd 
df = dd.read_parquet("file.parq", infer_divisions=True) 

如果你需要,你可以在阅读时直接设置索引

df = dd.read_parquet("file.parq", index="my_col", 
                     infer_divisions=True)