Skip to main content
 首页 » 编程设计

python之如何加速多处理队列的同时读写

2024年11月01日9jpfss

tl;dr - 有没有办法提高同时读取和写入多处理队列的速度?

我有一个处理审计数据的应用程序。把它想象成一个系统日志中继。它接收数据,解析数据,然后继续发送事件。事件发生率可能很高 - 我的目标是每秒 15,000 个事件 (EPS)。

in_queue = multiprocessing.Queue()

out_queue = multiprocessing.Queue()

  • ReaderProc - 单个进程,套接字读取器,接收数据并使用 in_queue.put()
  • 将其放入 in_queue
  • ParserProcs - 多个过程,使用in_queue.get() 获取数据,处理数据,然后将完成的结果放入out_queue使用 out_queue.put()
  • WriterProc - 单进程,使用 out_queue.get() 读取 out_queue 并通过 TCP 套接字连接继续发送数据

我使用队列运行测试 - 我可以或将事件放入 25,000 EPS 的队列中。当多个解析进程 (4) 在写入数据时将数据从队列中拉出时,速度就会变慢。该比率降至 10,000 每股 yield 以下。我猜测底层管道、锁等是延迟的原因。

我阅读了有关管道的资料,它看起来只支持 2 个端点。我需要将 CPU 密集型解析 fork 到多个进程。多处理内存共享等替代方法能否取得更好的效果?我怎样才能更好地同时从队列中获取 .put() 和 .get() 操作?

请您参考如下方法:

鉴于您的性能需求,我认为您最好使用像 ZeroMQ 这样的第三方消息代理。或 RabbitMQ为了这。我找到了一个比较多 here 的基准(尽管它与您的用例不太匹配)。性能上的差异是巨大的:

多处理。队列结果

1 
2 
3 
 
python2 ./multiproc_with_queue.py 
Duration: 164.182257891 
Messages Per Second: 60907.9210414 

0mq 结果

1 
2 
3 
 
python2 ./multiproc_with_zeromq.py 
Duration: 23.3490710258 
Messages Per Second: 428282.563744 

我进行了这两项测试,并提供了更复杂的工作负载,因为 multiprocessing.Queue 的好处之一是它可以为您处理序列化。这是新脚本:

mult_queue.py

import sys 
import time 
from  multiprocessing import Process, Queue 
 
def worker(q): 
    for task_nbr in range(1000000): 
        message = q.get() 
    sys.exit(1) 
 
def main(): 
    send_q = Queue() 
    Process(target=worker, args=(send_q,)).start() 
    msg = { 
            'something': "More", 
            "another": "thing", 
            "what?": range(200), 
            "ok": ['asdf', 'asdf', 'asdf'] 
            } 
    for num in range(1000000): 
        send_q.put(msg) 
 
if __name__ == "__main__": 
    start_time = time.time() 
    main() 
    end_time = time.time() 
    duration = end_time - start_time 
    msg_per_sec = 1000000 / duration 
 
    print "Duration: %s" % duration 
    print "Messages Per Second: %s" % msg_per_sec 

multi_zmq.py

import sys 
import zmq 
from  multiprocessing import Process 
import time 
import json 
import cPickle as pickle 
 
def worker(): 
    context = zmq.Context() 
    work_receiver = context.socket(zmq.PULL) 
    work_receiver.connect("tcp://127.0.0.1:5557") 
 
    for task_nbr in range(1000000): 
        message = work_receiver.recv_pyobj() 
 
    sys.exit(1) 
 
def main(): 
    Process(target=worker, args=()).start() 
    context = zmq.Context() 
    ventilator_send = context.socket(zmq.PUSH) 
    ventilator_send.bind("tcp://127.0.0.1:5557") 
    msg = { 
            'something': "More", 
            "another": "thing", 
            "what?": range(200), 
            "ok": ['asdf', 'asdf', 'asdf'] 
            } 
    for num in range(1000000): 
        ventilator_send.send_pyobj(msg) 
 
if __name__ == "__main__": 
    start_time = time.time() 
    main() 
    end_time = time.time() 
    duration = end_time - start_time 
    msg_per_sec = 1000000 / duration 
 
    print "Duration: %s" % duration 
    print "Messages Per Second: %s" % msg_per_sec 

输出:

dan@dan:~$ ./mult_zmq.py  
Duration: 14.0204648972 
Messages Per Second: 71324.3110935 
dan@dan:~$ ./mult_queue.py  
Duration: 27.2135331631 
Messages Per Second: 36746.4229657