Skip to main content
 首页 » 编程设计

Python 转到文本文件行而不阅读前几行

2024年10月24日13insus

我正在处理一个非常大的文本文件 (tsv),其中包含大约 2 亿个条目。其中一列是日期,记录按日期排序。现在我想从给定日期开始阅读记录。目前我只是从头开始阅读,这非常慢,因为我需要阅读近 100-1.5 亿条记录才能达到该记录。我在想,如果我可以使用二进制搜索来加快速度,我最多可以减少 28 次额外的记录读取 (log(200 million))。 python是否允许读取第n行而不缓存或读取它之前的行?

请您参考如下方法:

如果文件不是固定长度的,那你就不走运了。某些功能将必须读取文件。如果文件是固定长度的,可以打开文件,使用函数file.seek(line*linesize)。然后从那里读取文件。