我正在开发一个程序,该程序使用外部 C 库解析来自外部源的数据,并使用 Python 库对其运行一些优化问题。优化非常耗时,因此使用多个 CPU 将是一个重要的优势。
基本上,我用 Cython 包装了 C(++) 结构,如下所示:
cdef class CObject(object):
cdef long p_sthg
cdef OBJECT* sthg
def __cinit__(self, sthg):
self.p_sthg = sthg
self.sthg = <OBJECT*> self.p_sthg
def __reduce__(self):
return (rebuildObject, (self.p_sthg, ))
def getManyThings(self):
...
return blahblahblah
然后我创建我的资源密集型进程:
p = mp.Process(target=make_process, args=((cobject,)))
您可以立即猜到(当然我没有猜到),即使我设法解开 CObject,指针也会传递给新进程,而不是它引用的 C 结构。
我可以找到一些资源来解释如何将 Python 对象放入共享内存,但这对我来说还不够,因为我需要共享我几乎不了解的 C 对象(以及由top CObject) 在 Python 进程之间。
以防万一,好消息是我可以通过只读访问生存...
有没有人有这方面的经验?
我的另一个想法是找到一种方法来将我需要传递到文件中的对象的二进制表示写入文件并从其他进程读取它...
请您参考如下方法:
没有单一的通用方法可以做到这一点。
您可以通过在合适的 mmap(2) 中构造它来将 C 对象放入共享内存中。区域(也可通过 Python 标准库中的 mmap 获得;使用 MAP_SHARED|MAP_ANONYMOUS)。这需要整个对象位于 mmap 内,并且可能会使对象无法使用指针(但相对于对象的偏移量可能是可以的,只要它们指向 mmap 内)。如果该对象有任何文件描述符或其他任何类型的句柄,它们几乎肯定无法正常工作。请注意,mmap() 类似于 malloc();你必须执行相应的 munmap() 否则你会泄漏内存。
您可以复制 C 对象到共享内存中(例如 memcpy(3) )。这可能效率较低,并且需要对象具有合理的可复制性。 memcpy 不会神奇地修复指针和其他引用。从好的方面来说,这不需要您控制对象的构造。
您可以将对象序列化为某种二进制表示形式并通过 pipe(2) 传递它(也可以通过 Python 中的 os.pipe() 获得)。对于简单的情况,这是一个逐个字段的副本,但同样需要注意指针。你必须 (un)swizzle your pointers使它们在(反)序列化后正常工作。这是最容易推广的技术,但需要了解对象的结构,或者需要一个为您执行序列化的黑盒函数。
最后,您可以在 /dev/shm 中创建临时文件并以这种方式交换信息。这些文件由 RAM 支持,实际上与共享内存相同,但可能具有更熟悉的类似文件的界面。但这仅限于 Unix。在 Linux 以外的系统上,您应该使用 shm_open(3)完全便携。
请注意,一般来说,共享内存往往会出现问题。它需要进程间同步,但必要的锁定原语远不如线程世界发达。我建议将共享内存限制为不可变对象(immutable对象)或固有的无锁设计(这很难做到正确)。
