Skip to main content
 首页 » 编程设计

python之使用 scikit-learn 的多级并行化

2024年10月25日8yyy_WW

我正在使用 scikit-learn 的 RandomForestClassifier在多核服务器上运行以适应大型数据集,因此我通过设置 n_jobs = -1 来利用其并行化功能。

同时,我想执行交叉验证(使用 cross_val_score )并利用其并行化功能(同样,通过设置 n_jobs = -1)。

我的问题是使用两种类型的并行化是否会显着提高模型构建的速度,而不是仅使用一种类型的并行化。如果后者是真的,那么我不确定我应该更喜欢哪种类型的并行化。 scikit-learn 文档和 SO 没有提供任何关于如何使这两种类型的并行化一起工作的想法。

如果我可以为您提供更多关于我的设置的信息,如果这有助于提供更有帮助的答案,请告诉我。谢谢!

请您参考如下方法:

不,只会使用一种类型的并行化。无法嵌套 joblib 调用。我认为将使用最外层的循环,即 cross_val_score 但我不确定。

实际上应该并行化哪个循环取决于您的设置。我可能会选择 RandomForestClassifier(n_jobs=-1) 并连续执行 cross_val_score。借助详细的 GridSearchCV,您还可以非常快速地了解验证准确性。

假设您并行执行 cross_val_score,与 CPU 相比,您的折数很少(比如 5 折和 5 个 CPU)。例如,如果您搜索最大深度,通常某些森林会比其他森林花费更短的时间。 然后快速森林将完成它们的工作,CPU 将空闲,而“慢速”森林仍将进行训练。