Skip to main content
 首页 » 编程设计

python之适合内存加载时间的数据集上的 Dask

2024年12月31日10Terrylee

我知道dask的主要用途是内存放不下的数据,但我还是很好奇。
为什么创建 Pandas 数据框与创建 Dask 数据框的时间不同? (我读到了开销,但它应该这么重要吗?)

请您参考如下方法:

您不应期望数据框的加载速度会更快。在某些时候,系统需要 - 来自磁盘的流字节(固定成本) - 解析文本(这部分是可并行的) - 在工作人员之间传递数据(这可能涉及昂贵的序列化和通信) - 连接起来(这会占用大量内存,因此如果周围有很多工作人员的话可能会很昂贵)

需要多长时间很大程度上取决于您使用的调度程序,因为这会影响需要多少数据副本以及发生多少通信。您可能希望尝试分布式调度程序,使用不同的线程和进程组合。编码任务总是有一些开销。

dask 模型是将计算转移到数据上,而不是相反。如果你对 dask 数据帧进行操作(过滤、分组、计算、聚合),并且只对相对较小的输出执行 .compute(),那么计算将在数据所在的同一个 worker 中进行也在加载,消除序列化和通信成本。

不过,一般来说,如果数据适合内存,那么 pandas 可能在速度方面做得很好。