Skip to main content
 首页 » 编程设计

python之初始化分布式工作人员的状态

2024年12月31日8zhujiabin

我正在尝试做类似的事情

resource = MyResource() 
def fn(x): 
   something = dosemthing(x, resource) 
   return something 
 
client = Client() 
results = client.map(fn, data) 

问题是 resource 是不可序列化的,而且构建起来很昂贵。 因此,我想在每个 worker 上构建一次,并可供 fn 使用。

我该怎么做? 或者是否有其他方法可以让所有工作人员都可以使用 resource?

请您参考如下方法:

你总是可以构造一个惰性资源,比如

class GiveAResource(): 
    resource = [None] 
    def get_resource(self): 
        if self.resource[0] is None: 
            self.resource[0] = MyResource() 
        return self.resource[0] 

它的一个实例将在进程之间很好地序列化,所以你可以将它作为输入包含在任何要在 worker 上执行的函数中,然后调用 .get_resource() 将获取你的本地昂贵的资源(将在稍后出现的任何 worker 身上重新制作)。

最好在模块中而不是动态代码中定义此类。

这里没有加锁,所以如果多个线程同时请求目前还不需要的资源,你会得到多余的工作。