我正在尝试向 XMLRPC 服务器 ( mosesserver ) 发送多个并行请求。要启动 XMLRPC 调用,需要一个 ServerProxy 对象(该对象包含服务器的 URL 等)
在串行执行中,我可以在程序开始时创建这个对象(通过调用 xmlrpclib.ServerProxy(server_URL)),将它存储在一个变量中并在需要时使用它。
但是当使用进程池时,每个进程都需要这个对象的不同实例。每个进程的任务是从输入中读取一行并通过 XMLRPC 将其发送到翻译服务器,等待结果,获取另一行,再次发送......
很容易看出每个进程在每次调用XMLRPC 时都会创建一个新的ServerProxy 实例,但问题是第一次调用比使用相同ServerProxy 对象的后续调用花费的时间要长。所以我想要做的是,每个进程在第一次进行 RPC 调用时创建一个 ServerProxy 对象,然后它为以下调用重用相同的 ServerProxy 对象(在串行执行中完成的方式)。但是我在存储该对象时遇到了问题。
import xmlrpclib
import sys
import os
import multiprocessing
import time
def func(dummy_argument,que):
server = xmlrpclib.ServerProxy('http://myserver:6060/RPC2',)
# server="HELLO"
que.put(server)
return
def run_parallel(line,num_procesos):
pool = multiprocessing.Pool(processes=num_procesos)
m = multiprocessing.Manager()
q = m.Queue()
for i in range (0, num_procesos):
pool.apply_async(func, ("dummy",q))
while not q.empty():
print q.get()
pool.close()
pool.join()
return
if __name__ == '__main__':
line="test"
run_parallel(line,4)
在上面的代码中,如果我取消注释行 'server = "HELLO"',一切似乎都工作正常,但是当我删除该行时,ServerProxy 对象 'server' 必须入队,我收到以下错误:
Exception in thread Thread-3:
Traceback (most recent call last):
File "/usr/lib/python2.7/threading.py", line 551, in __bootstrap_inner
self.run()
File "/usr/lib/python2.7/threading.py", line 504, in run
self.__target(*self.__args, **self.__kwargs)
File "/usr/lib/python2.7/multiprocessing/pool.py", line 353, in _handle_results
task = get()
TypeError: ('__init__() takes exactly 3 arguments (1 given)', <class 'xmlrpclib.Fault'>, ())
它所引用的init方法,是ApplyResult类(class 其实例由 Pool.apply_async())
事实是,即使我能够正确地存储和检索这个对象,我也不确定我是否能够按照我想要的方式使用它,但至少我想尝试一下。
谁知道问题出在哪里?
或者是否有另一种(可能更简单的)方法来满足我的需要?
谢谢
请您参考如下方法:
如果我理解,你的问题是如何在每个子进程中只初始化一次代理。您可以利用 multiprocessing.Pool() 的 initializer 参数,以及每个进程都有自己的全局变量这一事实:
import xmlrpclib
import multiprocessing
def init():
global server
server = xmlrpclib.ServerProxy('http://myserver:6060/RPC2',)
def func(argument):
result = server.some_function(argument)
return result
def run_parallel(line,num_procesos):
pool = multiprocessing.Pool(processes=num_procesos, initializer=init)
async_results = [pool.apply_async(func, ("dummy",q))
for i in range (0, num_procesos)]
for r in async_results:
print r.get()
pool.close()
pool.join()
if __name__ == '__main__':
line="test"
run_parallel(line,4)
我还在演示处理 apply_async 结果的典型方法。
