Skip to main content
 首页 » 编程设计

python之避免 OSError : [Errno 22] Invalid argument when read()ing large file

2024年12月31日9TianFang

我正在尝试将大型 .txt 文件全部读入内存(一次一个)以选择随机行,直到满足某些条件。我不能使用 readlines() 或 linecache.getline() 或类似的,因为文件的行由 \n\n 分隔而不是\n。 (拆分 \n 会导致奇怪的半句等)理想情况下,我也不想将数据拆分成 block ,以避免从文件的特定部分过度采样。目前,当我尝试将文件加载到内存中并使用 read().split('\n\n') 沿文件的分隔符分隔时,程序崩溃并显示

OSError: [Errno 22] Invalid argument

我只是运气不好,还是有解决方法? RAM 不是问题。

编辑:我只是尝试使用 Python 2.7.10 和相同的 read().split('\n\n') 将文件加载到内存中,它工作正常,没有错误。所以我想我的问题应该更具体:Python 3+ 有解决方法吗?

EDIT2,根据 Ivan 的坚持:您可以使用以下代码复制我的问题

with open('file_larger_than_2gb.txt', 'r') as f: 
    source = f.read().split('\n\n') 

它在 Python 2 上运行良好,在 Python 3 上触发 OSError

请您参考如下方法:

此问题是由 macOS 10.13.6 beta 中的一个错误引起的。问题已在 2018 年 7 月 10 日发布的 10.13.6 完整版本中得到修复。