Skip to main content
 首页 » 编程设计

python之分布式客户端中的 ImportError

2024年12月31日8zhoujg

在过去的几个月里,我们一直在使用分布在计算集群上的 dask。最近我们升级了所有的 python 包,现在所有的 dask 客户端似乎都出现错误并显示以下消息:

distributed.nanny - INFO -         Start Nanny at: 'tcp://10.38.37.14:40983' 
Traceback (most recent call last): 
File "PYTHON_INSTALL_DIR/lib/python3.6/multiprocessing/forkserver.py", line  
178, in main 
  _serve_one(s, listener, alive _r, handler) 
File "PYTHON_INSTALL_DIR/lib/python3.6/multiprocessing/forkserver.py", line 212, in _serve_one  
    code = spawn._main(child_r) 
File "PYTHON_INSTALL_DIR/lib/python3.6/multiprocessing/spawn.py", line 115,  
in _main 
    self = reduction.pickle.load(from_parent) 
ModuleNotFoundError: No module named 'distributed.http' 
distributed.nanny - WARNING - Worker process 8566 was killed by unknown signal 
distributed.nanny - WARNING - Restarting worker 

知道是什么导致了这个问题吗? 仅供引用,以下版本的 dask 相关软件包出现此错误:

  1. dask-0.18.1
  2. 分布式 1.22.0

谢谢

请您参考如下方法:

distributed.http 在最近的版本中确实被删除了。 您收到此错误表明您的安装中存在不兼容的版本,或者您的路径不知何故变得困惑。您可以检查 $PATH、which python、which dask-worker、python -c 'import sys; print(sys.path)',等等。

我建议安装到新的虚拟环境或 conda 环境中(我个人更喜欢 conda)。