我知道如何使用子进程做几个“嵌套”管道,但我还有另一个疑问。我想执行以下操作:
p1=Popen(cmd1,stdout=PIPE)
p2=Popen(cmd2,stdin=p1.stdout)
p3=Popen(cmd3,stdin=p1.stdout)
考虑到 p3 使用 p1.stdout 而不是 p2.stdout。问题是在执行 p2 之后,p1.stdout 是空白的。请帮助我!
请您参考如下方法:
您不能将同一个管道发送到两个不同的进程。或者,更确切地说,如果您这样做,它们最终会访问同一个管道,这意味着如果一个进程读取了某些内容,另一个进程将不再可用。
您需要做的是以某种方式“tee”数据。
如果您不需要在数据传入时对其进行流式处理,您可以从 p1 读取所有输出,然后将其作为输入发送到 p2 和p3。这很简单:
output = check_output(cmd1)
p2 = Popen(cmd2, stdin=PIPE)
p2.communicate(output)
p3 = Popen(cmd3, stdin=PIPE)
p3.communicate(output)
如果您只需要p2 和p3 并行运行,您可以在一个线程中分别运行它们。
但如果您确实需要实时流式传输,则必须更仔细地连接起来。如果你能确定 p2 和 p3 将始终消耗它们的输入,没有阻塞,比 p1 可以提供它的速度更快,你可以这样做没有线程(只是在 p1.stdout.read() 上循环),但除此之外,每个消费者进程都需要一个输出线程,以及一个 Queue 或其他一些传递数据的方式。查看source code communicate 以获取有关如何同步单独线程的更多想法。
