Skip to main content
 首页 » 编程设计

python之python中管道的异步监听/迭代

2024年11月01日752php

我正在处理大量数据,并且由于我有一个 12 核服务器可供使用,所以我决定使用多处理库来拆分工作。我尝试这样做的方法是让一个父进程将工作均匀地分配给多个工作进程,然后另一个父进程充当所有已完成工作的收集器/漏斗,以适度处理最终输出。之前做过类似的事情,我正在使用 Pipes,因为与托管问题相比,它们的速度非常快。

使用管道向工作人员发送数据工作正常。但是,我坚持有效地从 worker 那里收集数据。从理论上讲,分发的工作将以相同的速度进行处理,并且它们将同时完成。实际上,这永远不会发生。所以,我需要能够遍历每个管道来做一些事情,但如果那里什么都没有,我需要它移动到下一个管道并检查是否有任何东西可用于处理。如前所述,它在一台 12 核机器上,因此我将让 10 名工作人员汇集到一个收集流程。

工作人员使用以下内容从他们的管道(称为 WorkerRadio)中读取

for Message in iter(WorkerRadio.recv, 'QUIT'): 
    Crunch Numbers & perform tasks here... 
    CollectorRadio.send(WorkData) 
 
WorkerRadio.send('Quitting') 

因此,他们坐在那里看着管道,直到有东西进来。一旦他们得到东西,他们就会开始做他们的事情。然后将其启动到数据收集过程。如果他们收到退出命令,他们会确认并和平关闭。

至于收集器,我希望做类似的事情,但不是只有 1 个管道( radio )而是 10 个。收集器需要检查所有 10 个,并对传入的数据做一些事情。我的第一个尝试是像 worker 一样做一些事情......

i=0 
for Message in iter(CollectorRadio[i].recv, 'QUIT'): 
    Crunch Numbers & perform tasks here... 
 
    if i < NumOfRadios: 
        i += 1 
    else: 
        i = 0 
 
CollectorRadio.send('Quitting') 

这并没有成功,我也尝试了其他几种操作方法,但都没有成功。我要么以语法错误告终,要么像上面那样,我卡在第一个 radio 上,因为它出于某种原因永远不会改变。我研究过让所有的 worker 都在同一个管道中交谈,但是 Python site明确指出“如果两个进程(或线程)试图同时读取或写入管道的同一端,管道中的数据可能会损坏。”

正如我提到的,我还担心某些流程比其他流程慢并阻碍进展。如果可能的话,我想要一些不会等待数据显示的东西(即检查并在没有任何数据的情况下继续)。

如有任何帮助,我们将不胜感激。我已经看到一些托管问题的使用可能会允许它工作;但是,根据我的测试,托管查询比管道慢明显,我可以尽可能多地使用它的性能。

解决方案: 根据 pajton 的帖子,我做了以下工作...

#create list of pipes(labeled as  radios) 
TheRadioList = [CollectorRadio[i] for i in range(NumberOfRadios)] 
 
while True: 
    #check for data on the pipes/radios 
    TheTransmission, Junk1, Junk2 = select.select(TheRadioList, [], []) 
    #find out who sent the data (which pipe/radio) 
    for TheSender in TheTransmission: 
        #read the data from the pipe 
        TheMessage = TheSender.recv() 
        crunch numbers & perform tasks here... 

请您参考如下方法:

如果你使用的是标准系统管道,那么你可以使用select查询哪些描述符的数据可用的系统调用。 Bt 默认 select 将阻塞,直到至少有一个传递的描述符准备就绪:

read_pipes = [pipe_fd0, pipe_fd1, ... ] 
 
while True: 
    read_fds, write_fds, exc_fds =  select.select(read_pipes, [], [] ) 
    for read_fd in read_fds: 
        # read from read_fd pipe descriptor