我正在尝试做类似的事情
resource = MyResource()
def fn(x):
something = dosemthing(x, resource)
return something
client = Client()
results = client.map(fn, data)
问题是 resource 是不可序列化的,而且构建起来很昂贵。 因此,我想在每个 worker 上构建一次,并可供 fn 使用。
我该怎么做? 或者是否有其他方法可以让所有工作人员都可以使用 resource?
请您参考如下方法:
你总是可以构造一个惰性资源,比如
class GiveAResource():
resource = [None]
def get_resource(self):
if self.resource[0] is None:
self.resource[0] = MyResource()
return self.resource[0]
它的一个实例将在进程之间很好地序列化,所以你可以将它作为输入包含在任何要在 worker 上执行的函数中,然后调用 .get_resource() 将获取你的本地昂贵的资源(将在稍后出现的任何 worker 身上重新制作)。
最好在模块中而不是动态代码中定义此类。
这里没有加锁,所以如果多个线程同时请求目前还不需要的资源,你会得到多余的工作。
