Skip to main content
 首页 » 编程设计

python之Scikit-学习 GridSearchCV : Avoid function to copy data for each process in parallel

2025年05月04日10TianFang

我将 sklearn.grid_search.GridSearchCV 与多个 cpus/核心并行使用。调用 fit 方法会创建我的数据的多个副本(每个进程一个)。这会导致我的进程因内存限制而崩溃。

有没有办法阻止函数为每个进程复制数据?我可以为所有内核使用共享内存吗?

请您参考如下方法:

默认情况下,python 为每个并行任务创建一个新进程。这个新进程复制数据。我建议使用多进程共享环境来避免这种情况。您可以在 https://github.com/alvarouc/polyssifier/blob/master/polyssifier/polyssifier.py#L87 中查看示例