我的数据是 88200(行)*29403(列)(大约 14Gb)。数据已使用 dlmwrite 在 matlab 中创建。我尝试使用以下方法在 python 中读取文件。在所有尝试中我都用完了内存:
我的系统:ubuntu 16.04,RAM 32Gb,Swap 20Gb Python 2.7.12, Pandas :0.19,GCC 5.4.0
1> 使用 csv:
import csv
import numpy
filename = 'data.txt'
raw_data = open(filename, 'rb')
reader = csv.reader(raw_data, delimiter=',', quoting=csv.QUOTE_NONE)
x = list(reader)
data = numpy.array(x).astype('float')
2a> 使用 numpy loadtxt:
import numpy
filename = 'data.txt'
raw_data = open(filename, 'rb')
data = numpy.loadtxt(raw_data, delimiter=",")
2b> 使用 numpy genfromtxt:
import numpy
x=np.genfromtxt('vectorized_image_dataset.txt',skip_header=0,skip_footer=0,delimiter=',',dtype='float32')
3> 使用 pandas.read_csv:
from pandas import *
import numpy as np
tp = read_csv(filepath_or_buffer='data.txt', header=None, iterator=True, chunksize=1000)
df = concat(tp, ignore_index=True)
在上述所有方法中,它都耗尽了内存。
数据文件已使用 dlmwrite (matlab) 创建。图像列表 (list.txt) 被一张一张读取,转换为 float ,矢量化并使用 dlmwrite 存储。代码如下:
fileID = fopen('list.txt');
N=88200;
C = textscan(fileID,'%s');
fclose(fileID);
for i=1:N
A=imread(C{1}{i});
% convert the file to vector
B=A(:);
% convert the above vector to a row
D=B';
% divide by 256
%E=double(D)/double(256);
E=single(D)/single(256);
dlmwrite('vectorized_image_dataset.txt',E,'-append');
clear A;clear B;clear D;clear E;
end
请您参考如下方法:
def read_line_by_line(file_path: str):
with open(filepath) as file:
for line in file:
yield line
也许这个函数会对你有所帮助——我对 Numpy/Pandas 不是很熟悉,但看起来你正试图一次加载所有数据并将其存储在内存中。使用上面的函数,您将使用生成器一次只生成一行——无需将所有内容都存储在 RAM 中。
