Skip to main content
 首页 » 编程设计

python之numpy.loadtxt之否定usecols

2024年11月01日9daizhj

我想用 numpy.loadtxt 读取 CSV 文件。我知道我可以使用 usecols 参数指定要读取的列。然而,我真正想要做的是指定一个列列表不来阅读。这是因为我实际上并不知道我的文件将包含多少列。

除了读取文件的前几行,确定总列数,然后手动计算要读取的列集之外,还有什么方法可以做到这一点吗?

请您参考如下方法:

正如您提到的,没有阅读第一行就不行。

但是,这样做可能更容易:

do_not_read_cols = [3, 4, 9] 
data = np.loadtxt('filename') 
data = np.delete(data, do_read_cols, axis=1) 

这不会非常节省内存,但是 loadtxt 一开始并没有尝试非常节省内存。除非您要删除大部分列,否则调用 loadtxt 将使用比 delete 将生成的后续临时副本更多的内存。


为了扩展我下面的评论,如果你想提高内存效率并且不想使用 pandas,另一种选择是这样的:(注意:写得有点草率。)

import numpy as np 
 
def generate_text_file(length=1e6, ncols=20): 
    data = np.random.random((length, ncols)) 
    np.savetxt('large_text_file.csv', data, delimiter=',') 
 
def iter_loadtxt(filename, delimiter=',', skiprows=0, skipcols=None,dtype=float): 
    if skipcols is None: 
        skipcols = [] 
    def iter_func(): 
        with open(filename, 'r') as infile: 
            for _ in range(skiprows): 
                next(infile) 
            for line in infile: 
                line = line.rstrip().split(delimiter) 
                for i, item in enumerate(line): 
                    if i in skipcols: 
                        continue 
                    yield dtype(item) 
        iter_loadtxt.rowlength = len(line) - len(skipcols) 
 
    data = np.fromiter(iter_func(), dtype=dtype) 
    data = data.reshape((-1, iter_loadtxt.rowlength)) 
    return data 
 
#generate_text_file() 
data = iter_loadtxt('large_text_file.csv')