我将 sklearn.grid_search.GridSearchCV 与多个 cpus/核心并行使用。调用 fit 方法会创建我的数据的多个副本(每个进程一个)。这会导致我的进程因内存限制而崩溃。
有没有办法阻止函数为每个进程复制数据?我可以为所有内核使用共享内存吗?
请您参考如下方法:
默认情况下,python 为每个并行任务创建一个新进程。这个新进程复制数据。我建议使用多进程共享环境来避免这种情况。您可以在 https://github.com/alvarouc/polyssifier/blob/master/polyssifier/polyssifier.py#L87 中查看示例
