Skip to main content
 首页 » 编程设计

python之使用 Numpy.loadtxt() 进行并行处理

2024年11月01日11yjmyzz

我有一个 >100MB 的文件需要用 numpy.loadtxt() 读取

阅读部分是我代码中的主要瓶颈。对于 72MB 的文件,它需要 17.3s

是否可以使用 loadtxt()

以并行方式读取文件

如果可能,不拆分文件。

请您参考如下方法:

看起来 numpy.loadtxt() 是您的问题。

http://wesmckinney.com/blog/?p=543

http://codrspace.com/durden/performance-lessons-for-reading-ascii-files-into-numpy-arrays/

根据这些站点,您最好根本不使用 numpy 的加载函数。

pandas.read_csv 和 read_table 应该对 pandas 模块有帮助。