Skip to main content
 首页 » 编程设计

python之尝试将 csv 文件读入 python 时内存不足

2025年04月02日8dudu

我的数据是 88200(行)*29403(列)(大约 14Gb)。数据已使用 dlmwrite 在 matlab 中创建。我尝试使用以下方法在 python 中读取文件。在所有尝试中我都用完了内存:

我的系统:ubuntu 16.04,RAM 32Gb,Swap 20Gb Python 2.7.12, Pandas :0.19,GCC 5.4.0

1> 使用 csv:

import csv 
import numpy 
filename = 'data.txt' 
raw_data = open(filename, 'rb') 
reader = csv.reader(raw_data, delimiter=',', quoting=csv.QUOTE_NONE) 
x = list(reader) 
data = numpy.array(x).astype('float') 

2a> 使用 numpy loadtxt:

import numpy 
filename = 'data.txt' 
raw_data = open(filename, 'rb') 
data = numpy.loadtxt(raw_data, delimiter=",") 

2b> 使用 numpy genfromtxt:

import numpy 
x=np.genfromtxt('vectorized_image_dataset.txt',skip_header=0,skip_footer=0,delimiter=',',dtype='float32') 

3> 使用 pandas.read_csv:

from pandas import * 
import numpy as np 
 
tp = read_csv(filepath_or_buffer='data.txt', header=None, iterator=True, chunksize=1000) 
df = concat(tp, ignore_index=True) 

在上述所有方法中,它都耗尽了内存。

数据文件已使用 dlmwrite (matlab) 创建。图像列表 (list.txt) 被一张一张读取,转换为 float ,矢量化并使用 dlmwrite 存储。代码如下:

fileID = fopen('list.txt'); 
N=88200; 
C = textscan(fileID,'%s'); 
fclose(fileID); 
 
for i=1:N 
 
A=imread(C{1}{i}); 
% convert the file to vector 
B=A(:); 
% convert the above vector to a row 
D=B'; 
% divide by 256 
%E=double(D)/double(256); 
E=single(D)/single(256); 
dlmwrite('vectorized_image_dataset.txt',E,'-append'); 
clear A;clear B;clear D;clear E; 
end 

请您参考如下方法:

def read_line_by_line(file_path: str): 
    with open(filepath) as file: 
        for line in file: 
            yield line 

也许这个函数会对你有所帮助——我对 Numpy/Pandas 不是很熟悉,但看起来你正试图一次加载所有数据并将其存储在内存中。使用上面的函数,您将使用生成器一次只生成一行——无需将所有内容都存储在 RAM 中。