我正在尝试加快我的代码速度并提高我对 Dask 和 Numba 的理解,我确实尝试在我创建的一些示例中同时使用它们,但没有任何改进,我不明白为什么。
我必须说,我使用的是四核笔记本电脑,所以改进可能不大,但应该还是有的。
更准确地说,在 Windows 10 笔记本电脑上,使用 Python 3.7 并在 conda 环境中安装 Numba 和 Dask。
这是我的代码:
import numpy as np
import pandas as pd
from numba import jit
import dask.dataframe as dd
data = np.random.randint(-10, 10, (10**8, 3))
df = pd.DataFrame(data=data, columns=["A", "B", "C"], index=None)
df["F"] = np.random.choice(["apple", "banana", "orange",
"pear","grape","lime","citrus","peach"],10**8)
如您所见,它是一个相当大的内存数据帧,这是我检查 Dask 是否表现出改进的方法。在较小的数据帧(< 200MB)上,它似乎根本没有任何区别。
ddf = dd.from_pandas(df,npartitions=12)
@jit
def remove_special_char_with_numba(x):
return x.replace('r','')
这是一个玩具示例,我尝试从特定列中删除字符串,与普通 Pandas 相比,Numba 确实加快了代码速度,但不支持字符串,因此我无法修改 replace或者使用 nopython 模式。 现在:
%%timeit
remove_special_char_with_numba(df["F"])
输出:
58.9 s ± 9.51 s per loop (mean ± std. dev. of 7 runs, 1 loop each)
接下来,我对以下内容的理解是 Dask 将我的数据帧分成不同的 block /分区,并且它将独立地将函数应用于每个分离的 block 。据我所知,它有四个核心,应该可以加快处理速度。
%%timeit
ddf["F"].map_partitions(remove_special_char_with_numba).compute()
输出:
45.9 s ± 10.5 s per loop (mean ± std. dev. of 7 runs, 1 loop each)
现在我不想贪心了,但改进不应该比这更大吗?我做错了什么吗?
谢谢
请您参考如下方法:
这个结果应该不会让你太吃惊。显然,您正在默认的线程调度程序上运行。
这意味着每个字符串操作都必须获得单个 python GIL 才能发生,无论它是否在 dask 控制的工作线程中都是如此。对于该操作的 numba-jit 版本仍然如此,因为您不能在非 python 模式下运行此函数。如果它处于非 python 模式,它将发布 GIL,并且完整的字符串支持将进入 numba。
使用带有多个进程的分布式调度程序可能会获得更好的加速,尽管这样你会承受在进程之间发送数据的成本,所以生成数据的方式很重要,而且你将所有的当您 compute() 时,将结果导入主 session 。
