从 parquet 或 csv 文件加载数据时,有 NONE 分区。 DASK 文档没有关于如何设置和计算这个的信息....
如何正确设置和计算DASK dataframe的划分?
请您参考如下方法:
如果您从 parquet 读取数据,您可以像本例中那样使用 infer_divisions=True
import dask.dataframe as dd
df = dd.read_parquet("file.parq", infer_divisions=True)
如果你需要,你可以在阅读时直接设置索引
df = dd.read_parquet("file.parq", index="my_col",
infer_divisions=True)
