Skip to main content
 首页 » 编程设计

python之如何为不同Python进程之间的不同神经网络设置共享权重

2025年04月02日9pander-it

我正在尝试使用 Python 实现深度 Q 学习算法的异步版本,这需要在不同进程之间共享神经网络以进行异步更新。我知道由于 GIL,很难在 Python 中共享对象本身,而且我发现可以使用 https://docs.python.org/2/library/multiprocessing.html#multiprocessing.Array 简单地共享其权重。 .

但问题是这个Array对象是一维的,不支持reshape()和flatten()操作,也就是说每次要复制局部权重到全局权重,我必须获取所有权重, reshape 它们并将它们转换为这个数组。当我想把权重复制回来时,我需要做相反的转换,这在计算上是相当昂贵的。我想知道是否有好的方法可以直接将一些共享数组(不需要是这个 Array 对象)集成到神经网络的权重中,以便每次调用 update() 时它都会修改直接全局权重?

谢谢!

请您参考如下方法:

关键是使用某种共享内存空间为 numpy 数组分配内存。 multiprocessing.Array 对象实际上是实现此目的的一种非常好的方法。然后,您可以使用 numpy 创建 Array 对象的 View ,所有 View 将共享内存。您可以在主进程中执行一次,或者让每个子进程在开始工作之前执行一次。我已经使用第一种方法编写了一个示例。请记住,这绝不是“进程安全”的,因此您需要使用自己的锁定。

from multiprocessing import Pool, Array 
import numpy as np 
import ctypes 
 
shape = (10, 2) 
_shared_array = Array(ctypes.c_double, np.prod(shape), lock=False) 
shared_array = np.frombuffer(_shared_array, dtype='double').reshape(shape) 
 
def target_func(index, value): 
    shared_array[index, :] = value 
 
p = Pool(4) 
for i in range(10): 
    p.apply_async(target_func, args=(i, i**2)) 
 
p.close() 
p.join() 
 
print shared_array 
# [[  0.   0.] 
#  [  1.   1.] 
#  [  4.   4.] 
#  [  9.   9.] 
#  [ 16.  16.] 
#  [ 25.  25.] 
#  [ 36.  36.] 
#  [ 49.  49.] 
#  [ 64.  64.] 
#  [ 81.  81.]]