我有一个 >100MB 的文件需要用 numpy.loadtxt() 读取
阅读部分是我代码中的主要瓶颈。对于 72MB 的文件,它需要 17.3s
是否可以使用 loadtxt()
如果可能,不拆分文件。
请您参考如下方法:
看起来 numpy.loadtxt() 是您的问题。
http://wesmckinney.com/blog/?p=543
http://codrspace.com/durden/performance-lessons-for-reading-ascii-files-into-numpy-arrays/
根据这些站点,您最好根本不使用 numpy 的加载函数。
pandas.read_csv 和 read_table 应该对 pandas 模块有帮助。
