Skip to main content
 首页 » 编程设计

Python os.dup2 redirect 在 Windows python 控制台上启用输出缓冲

2024年10月25日12powertoolsteam

我正在使用基于 os.dup2 的策略(类似于本网站上的示例)将 C/fortran 级输出重定向到临时文件以进行捕获。

我注意到的唯一问题是,如果您从 Windows 的交互式 shell(python.exe 或 ipython)中使用此代码,它会产生奇怪的副作用,即在控制台中启用输出缓冲.

在捕获之前 sys.stdout 是某种文件对象,它为 istty() 返回 True。输入 print('hi') 会直接输出 hi。 捕获后 sys.stdout 指向完全相同的文件对象,但 print('hi') 不再显示任何内容,直到 sys.stdout.flush() 被调用。

下面是一个最小的示例脚本“test.py”

import os, sys, tempfile 
 
class Capture(object): 
    def __init__(self): 
        super(Capture, self).__init__() 
        self._org = None    # Original stdout stream 
        self._dup = None    # Original system stdout descriptor 
        self._file = None   # Temporary file to write stdout to 
 
    def start(self): 
        self._org = sys.stdout 
        sys.stdout = sys.__stdout__ 
        fdout = sys.stdout.fileno() 
        self._file = tempfile.TemporaryFile() 
        self._dup = None 
        if fdout >= 0: 
            self._dup = os.dup(fdout) 
            os.dup2(self._file.fileno(), fdout) 
 
    def stop(self): 
        sys.stdout.flush() 
        if self._dup is not None: 
            os.dup2(self._dup, sys.stdout.fileno()) 
            os.close(self._dup) 
        sys.stdout = self._org 
        self._file.seek(0) 
        out = self._file.readlines() 
        self._file.close() 
        return out 
 
def run(): 
    c = Capture() 
    c.start() 
    os.system('echo 10') 
    print('20') 
    x = c.stop() 
    print(x) 
 
if __name__ == '__main__': 
    run() 

打开命令提示符并运行脚本工作正常。这会产生预期的输出:

python.exe test.py 

从 python shell 运行它不会:

python.exe 
>>> import test.py 
>>> test.run() 
>>> print('hello?') 

在刷新 stdout 之前不显示输出:

>>> import sys 
>>> sys.stdout.flush() 

有人知道发生了什么事吗?


快速信息:

  • 问题出现在 Windows 上,不出现在 linux 上(因此可能不出现在 mac 上)。
  • Python 2.7.6 和 Python 2.7.9 中的行为相同
  • 脚本应该捕获 C/fortran 输出,而不仅仅是 python 输出
  • 它在 Windows 上运行没有错误,但之后 print() 不再刷新

请您参考如下方法:

我可以确认 Linux 中 Python 2 的相关问题,但不是 Python 3

基本问题是

>>> sys.stdout is sys.__stdout__ 
True 

因此您一直在使用原始的 sys.stdout 对象。当您执行第一个输出时,在 Python 2 中,它会为基础文件执行一次 isatty() 系统调用,并存储结果。

您应该打开一个全新的文件并用它替换 sys.stdout。


因此编写 Capture 类的正确方法是

import sys 
import tempfile 
import time 
import os 
 
class Capture(object): 
    def __init__(self): 
        super(Capture, self).__init__() 
 
    def start(self): 
        self._old_stdout = sys.stdout 
        self._stdout_fd = self._old_stdout.fileno() 
        self._saved_stdout_fd = os.dup(self._stdout_fd) 
        self._file = sys.stdout = tempfile.TemporaryFile(mode='w+t') 
        os.dup2(self._file.fileno(), self._stdout_fd) 
 
    def stop(self): 
        os.dup2(self._saved_stdout_fd, self._stdout_fd) 
        os.close(self._saved_stdout_fd) 
        sys.stdout = self._old_stdout 
        self._file.seek(0) 
        out = self._file.readlines() 
        self._file.close() 
        return out 
 
def run(): 
    c = Capture() 
    c.start() 
    os.system('echo 10') 
    x = c.stop() 
    print(x) 
    time.sleep(1) 
    print("finished") 
 
run() 

使用这个程序,在 Python 2 和 Python 3 中,输出都是:

['10\n'] 
finished 

第一行立即出现在终端上,第二行在延迟一秒后出现。


然而,对于从 sys 导入 stdout 的代码,这将失败。幸运的是,没有多少代码可以做到这一点。