Skip to main content
 首页 » 编程设计

python之Dask 和 Numba之如何有效地使用映射分区

2024年12月31日11www_RR

我正在尝试加快我的代码速度并提高我对 Dask 和 Numba 的理解,我确实尝试在我创建的一些示例中同时使用它们,但没有任何改进,我不明白为什么。

我必须说,我使用的是四核笔记本电脑,所以改进可能不大,但应该还是有的。

更准确地说,在 Windows 10 笔记本电脑上,使用 Python 3.7 并在 conda 环境中安装 Numba 和 Dask。

这是我的代码:

import numpy as np 
import pandas as pd 
from numba import jit 
import dask.dataframe as dd 
 
data = np.random.randint(-10, 10, (10**8, 3)) 
df = pd.DataFrame(data=data, columns=["A", "B", "C"], index=None) 
df["F"] = np.random.choice(["apple", "banana", "orange",  
                            "pear","grape","lime","citrus","peach"],10**8) 

如您所见,它是一个相当大的内存数据帧,这是我检查 Dask 是否表现出改进的方法。在较小的数据帧(< 200MB)上,它似乎根本没有任何区别。

ddf = dd.from_pandas(df,npartitions=12) 
 
@jit 
def remove_special_char_with_numba(x): 
    return x.replace('r','') 

这是一个玩具示例,我尝试从特定列中删除字符串,与普通 Pandas 相比,Numba 确实加快了代码速度,但不支持字符串,因此我无法修改 replace或者使用 nopython 模式。 现在:

%%timeit 
remove_special_char_with_numba(df["F"]) 

输出:

58.9 s ± 9.51 s per loop (mean ± std. dev. of 7 runs, 1 loop each)

接下来,我对以下内容的理解是 Dask 将我的数据帧分成不同的 block /分区,并且它将独立地将函数应用于每个分离的 block 。据我所知,它有四个核心,应该可以加快处理速度。

%%timeit 
ddf["F"].map_partitions(remove_special_char_with_numba).compute() 

输出:

45.9 s ± 10.5 s per loop (mean ± std. dev. of 7 runs, 1 loop each)

现在我不想贪心了,但改进不应该比这更大吗?我做错了什么吗?

谢谢

请您参考如下方法:

这个结果应该不会让你太吃惊。显然,您正在默认的线程调度程序上运行。

这意味着每个字符串操作都必须获得单个 python GIL 才能发生,无论它是否在 dask 控制的工作线程中都是如此。对于该操作的 numba-jit 版本仍然如此,因为您不能在非 python 模式下运行此函数。如果它处于非 python 模式,它将发布 GIL,并且完整的字符串支持将进入 numba。

使用带有多个进程的分布式调度程序可能会获得更好的加速,尽管这样你会承受在进程之间发送数据的成本,所以生成数据的方式很重要,而且你将所有的当您 compute() 时,将结果导入主 session 。