Skip to main content
 首页 » 编程设计

python之为python多处理设计一个好的架构

2025年05月04日19duanxz

我有一个用 C 语言编写的程序(比如“prog”),可以进行许多数值运算。我想在 python 中编写一个“驱动程序”实用程序,以并行方式运行具有不同配置的“prog”,读取其输出并记录它们。有几个问题需要考虑:

  1. 所有事情都可能随时变坏,因此必须在任何 prog 实例完成后尽快完成日志记录。
  2. 多个 prog 可以同时完成,因此日志记录应该集中完成
  3. worker 可能会以某种方式死亡,司机必须妥善处理这种情况
  4. 在处理 KeyboardInterrupt 时,所有 worker 和 logger 都必须正确终止,没有大量回溯

前两点让我认为所有工作人员都必须通过例如 multiprocessing.Queue 将他们的结果发送到某个集中式 logger 工作人员。但似乎第三点使这个解决方案变得糟糕,因为如果一个 worker 被杀死,队列就会被破坏。所以Queue不适合。相反,我可以使用多个进程来处理管道(即每个工作人员都通过管道与记录器连接)。但随之而来的是其他问题:

  1. 从管道读取是一种阻塞操作,因此一个记录器无法从多个工作进程(使用线程?)异步读取
  2. 如果一名 worker 死亡并且管道损坏,记录器如何诊断?

附言第 4 点似乎可以解决——必须

  1. 禁用所有 worker 和 logger 中的默认 SIGINT 处理;

  2. 将 try except block 添加到主进程,以便在处理 SIGINT 异常时调用 pool.terminate();pool.join()。

如果可能的话,您能否提出一个比如何解决上述问题更好的设计方法?

附言 python 2.7

请您参考如下方法:

您可以从此处给出的答案开始:https://stackoverflow.com/a/23369802/4323

想法是不使用阻塞的subprocess.call(),而是使用非阻塞的subprocess.Popen。将每个实例的 stdout 设置为例如您为每个 prog child 创建的 StringIO 对象。生成所有 prog,等待它们,写入它们的输出。应该和上面的代码相差不远。