Skip to main content
 首页 » 编程设计

python之阻止在python中读取文件

2025年05月04日15txw1958

我需要读取二进制数据结构,因为它们被刷新到 Windows 中的文件中。我无法控制写入数据的程序,它是一个黑盒 LP 模型,总是写入一些硬编码的文件名,但我知道它会定期刷新它的输出。我想一次从多个文件中读取这些数据。我没有为每个文件 fork 一个线程的问题,但如果我可以使用 read(n) 并让它阻塞直到它读取 整个 n 个字节,或者 readinto( d) 并让它阻塞直到缓冲区已满。在 Windows 上用 Python 可以做到这一点吗?

我很难找到这个,因为所有人都在谈论非阻塞以及如何做到这一点。但是通过这个解决方案,我打算让 child 阻止并通过队列将数据报告给不阻止的 parent 。

如果没有办法获取阻塞读取,是否有办法避免忙等待或 sleep()ing?

请您参考如下方法:

在 Python 中读取文件时,默认情况下该线程会阻止所有其他线程在同一进程中执行工作——由于 GIL,您可以免费获得此功能。

虽然您是在二进制数据写入磁盘时读取它,但您可以读取 N 字节的数据并与您想要的大小进行比较,根据需要循环,并在完成后返回。

例如作为一些可运行的伪代码(你应该不按原样实现):

my_file = open('/Users/tfisher/sputnik.m4a', 'rb') 
megabyte_in_bytes = 1000000 
 
def chunk_reader(file=my_file, chunk_size=megabyte_in_bytes): 
    filesize = 0 
    _return_chunk = bytearray() 
 
    while filesize < chunk_size: 
 
        print("Reading file. Current size: {0}".format(sys.getsizeof(_return_chunk))) 
 
        # reading will keep seeking forward until the file is  
        # seek(0) or otherwise opened from the start 
        _return_chunk = _return_chunk + file.read(10) 
        filesize = filesize + sys.getsizeof(_return_chunk) 
 
    return _return_chunk 
 
print(chunk_reader()) 

如果你不想要一个繁忙的等待循环,你可以通过使用 synchronization primitives like semaphores 检查文件是否被锁定在同一进程中的其他线程中。或者创建一个文件读取类,在开始 read() 时递增锁定值。