我已经编写了一个 Apache Spark python 脚本,出于兼容性原因,我需要在向集群提交 Spark 作业时传递特定版本的 scikit-learn。问题是我不确定从哪里可以获得我需要的 scikit-learn 二进制文件/可执行文件的副本。我认为这不像下载 scikit-learn 源代码并自己编译那么简单,因为我听说 scikit-learn 有很多依赖项,而且我不确定我需要的版本需要哪些依赖项。我在想我可以用我需要的特定 scikit-learn 版本创建一个 Conda 环境,以便 Conda 可以为我完成所有编译,但我不确定 Conda 在哪里保存它构建的库。我尝试在默认的 venv 文件夹下检查,但没有看到任何有希望的东西。
请您参考如下方法:
Conda 负责处理依赖关系。只需将版本传递给 Conda:
$ conda install scikit-learn=0.16.1
如果您想要每个包的确切版本,您可以执行以下操作:
$ conda list -e > requirements.txt
然后按如下方式创建一个新环境:
$ conda create -n my_environment --file requirements.txt
