我需要进行一些密集的数值计算,幸运的是,python 提供了非常简单的方法来实现并行化。然而,我得到的结果非常奇怪,经过一些试错后我偶然发现了这个问题。
以下代码只是计算随机数字样本的平均值,但说明了我的问题:
import multiprocessing
import numpy as np
from numpy.random import random
# Define function to generate random number
def get_random(seed):
dummy = random(1000) * seed
return np.mean(dummy)
# Input data
input_data = [100,100,100,100]
pool = multiprocessing.Pool(processes=4)
result = pool.map(get_random, input_data)
print result
for i in input_data:
print get_random(i)
现在输出看起来像这样:
[51.003368466729405, 51.003368466729405, 51.003368466729405, 51.003368466729405]
对于并行化,它总是相同的
对于正常的非并行循环,像这样:
50.8581749381
49.2887091049
50.83585841
49.3067281055
如您所见,并行化只返回相同的结果,即使它应该像循环一样计算差值。现在,有时我只能得到 3 个相同的数字,其中一个与另外 3 个不同。
我怀疑一些内存被分配给了所有的子进程... 我希望能得到一些关于这里发生了什么以及修复会是什么样子的提示。 :)
谢谢
请您参考如下方法:
当您使用multiprocessing 时,您是在谈论不同的进程。不同的进程意味着不同的 Python 解释器。不同的解释器意味着不同的随机状态。如果您没有在每个进程上唯一地播种随机数生成器,那么您将从每个进程获得相同的起始随机状态。
