Skip to main content
 首页 » 编程设计

python之在 dask 中设置 Parquet 输出文件的大小

2024年12月31日7jpfss

当使用 dask dataframe to_parquet 方法时,有没有办法像 spark 一样设置默认的 parquet 文件大小?

我的问题是,当我用 partition_on kwarg 保存它时,我在每个分区目录中得到几个小文件,因此导致使用“Amazon Athena”的查询非常慢。

中间期望的结果(如果文件大小控制不可用)是每个分区目录 n 个文件(现在 1 个就足够了)。

我想到的保证每个分区目录 1 个文件的唯一方法是重新分区到一个分区,然后使用 to_parquet 方法(但是这是非常低效的)。

有没有更好的办法?

请您参考如下方法:

当前的行为是设计使然,允许每个 worker 独立处理一个分区,并写入其他进程未写入的文件。否则,在为每个目录写入后需要某种锁定或某种合并步骤。

你可以做的是使用 set_index 将数据洗牌到一个分区中,用于你想要分区的列的每个值(也许使用 divisions=关键词);现在,to_parquet 将为这些值中的每一个生成一个文件。如果您希望文件自动结束在正确的目录中,并修剪现在冗余的索引,您可能需要使用 to_delayed() 并创建一个延迟函数,它需要一个分区(一个pandas dataframe)并将其写入正确的位置。