Skip to main content
 首页 » 编程设计

Python 多处理。如何排队 XMLRPC ServerProxy 对象

2024年11月01日6youxin

我正在尝试向 XMLRPC 服务器 ( mosesserver ) 发送多个并行请求。要启动 XMLRPC 调用,需要一个 ServerProxy 对象(该对象包含服务器的 URL 等)

在串行执行中,我可以在程序开始时创建这个对象(通过调用 xmlrpclib.ServerProxy(server_URL)),将它存储在一个变量中并在需要时使用它。

但是当使用进程池时,每个进程都需要这个对象的不同实例。每个进程的任务是从输入中读取一行并通过 XMLRPC 将其发送到翻译服务器,等待结果,获取另一行,再次发送......

很容易看出每个进程在每次调用XMLRPC 时都会创建一个新的ServerProxy 实例,但问题是第一次调用比使用相同ServerProxy 对象的后续调用花费的时间要长。所以我想要做的是,每个进程在第一次进行 RPC 调用时创建一个 ServerProxy 对象,然后它为以下调用重用相同的 ServerProxy 对象(在串行执行中完成的方式)。但是我在存储该对象时遇到了问题。

import xmlrpclib 
import sys 
import os 
 
import multiprocessing 
import time 
 
def func(dummy_argument,que): 
  server = xmlrpclib.ServerProxy('http://myserver:6060/RPC2',) 
#  server="HELLO" 
  que.put(server) 
  return 
 
def run_parallel(line,num_procesos): 
  pool = multiprocessing.Pool(processes=num_procesos) 
  m = multiprocessing.Manager() 
  q = m.Queue() 
  for i in range (0, num_procesos): 
    pool.apply_async(func, ("dummy",q)) 
 
  while not q.empty(): 
    print q.get() 
 
  pool.close() 
  pool.join() 
 
  return 
 
if __name__ == '__main__': 
  line="test" 
  run_parallel(line,4) 

在上面的代码中,如果我取消注释行 'server = "HELLO"',一切似乎都工作正常,但是当我删除该行时,ServerProxy 对象 'server' 必须入队,我收到以下错误:

Exception in thread Thread-3: 
Traceback (most recent call last): 
  File "/usr/lib/python2.7/threading.py", line 551, in __bootstrap_inner 
    self.run() 
  File "/usr/lib/python2.7/threading.py", line 504, in run 
    self.__target(*self.__args, **self.__kwargs) 
  File "/usr/lib/python2.7/multiprocessing/pool.py", line 353, in _handle_results 
    task = get() 
TypeError: ('__init__() takes exactly 3 arguments (1 given)', <class 'xmlrpclib.Fault'>, ()) 

它所引用的init方法,是ApplyResult类(class 其实例由 Pool.apply_async())

返回

事实是,即使我能够正确地存储和检索这个对象,我也不确定我是否能够按照我想要的方式使用它,但至少我想尝试一下。

谁知道问题出在哪里?

或者是否有另一种(可能更简单的)方法来满足我的需要?

谢谢

请您参考如下方法:

如果我理解,你的问题是如何在每个子进程中只初始化一次代理。您可以利用 multiprocessing.Pool() 的 initializer 参数,以及每个进程都有自己的全局变量这一事实:

import xmlrpclib 
import multiprocessing 
 
def init(): 
    global server 
    server = xmlrpclib.ServerProxy('http://myserver:6060/RPC2',) 
 
def func(argument): 
    result = server.some_function(argument) 
    return result 
 
def run_parallel(line,num_procesos): 
    pool = multiprocessing.Pool(processes=num_procesos, initializer=init) 
    async_results = [pool.apply_async(func, ("dummy",q))  
                     for i in range (0, num_procesos)] 
    for r in async_results: 
        print r.get() 
 
    pool.close() 
    pool.join() 
 
if __name__ == '__main__': 
  line="test" 
  run_parallel(line,4) 

我还在演示处理 apply_async 结果的典型方法。