请您参考如下方法:
您不应期望数据框的加载速度会更快。在某些时候,系统需要 - 来自磁盘的流字节(固定成本) - 解析文本(这部分是可并行的) - 在工作人员之间传递数据(这可能涉及昂贵的序列化和通信) - 连接起来(这会占用大量内存,因此如果周围有很多工作人员的话可能会很昂贵)
需要多长时间很大程度上取决于您使用的调度程序,因为这会影响需要多少数据副本以及发生多少通信。您可能希望尝试分布式调度程序,使用不同的线程和进程组合。编码任务总是有一些开销。
dask 模型是将计算转移到数据上,而不是相反。如果你对 dask 数据帧进行操作(过滤、分组、计算、聚合),并且只对相对较小的输出执行 .compute(),那么计算将在数据所在的同一个 worker 中进行也在加载,消除序列化和通信成本。
不过,一般来说,如果数据适合内存,那么 pandas 可能在速度方面做得很好。
