我在一个文件夹中有 5 个 csv 文件,在这里我想将每个 csv 文件中的所有列连接到一个数据框中。当我只加入 2 个 csv 文件时,效果很好,但是当我想加入 5 个 csv 文件时,我遇到了错误。我的代码如下:
In [7]:
import pandas
import os
import numpy as np
import glob
path =r'D:/PreprocessingITRC/output/All/'
allFiles = glob.glob(path + "/*.csv")
dataframe = pandas.DataFrame()
for file in allFiles:
df = pandas.read_csv(os.path.join(file),index_col=0, header=0)
dataframe = dataframe.join(df, how='right')
dataframe
---------------------------------------------------------------------------
MemoryError Traceback (most recent call last)
请您参考如下方法:
你的 csv 文件有一个未命名的索引,其中所有的值都是 0,合并时这会导致重复匹配呈指数级增长,因为它会找到匹配的每个组合:
蓝牙.csv:
,Bluetooth
0,9.0
0,21.0
0,14.0
GPS.cav:
,place,distance
0,3.0,15362.9633071
0,3.0,15813.7281014
0,1.0,15360.0862917
正如您在代码中指定的,该列应被视为索引,您的合并变得不稳定。
我会指定此列不是索引,以便它为您创建一个新的:
pandas.read_csv(os.path.join(file),index_col=None, header=0
编辑
另外看看你在做什么我认为你不需要合并,只需concat一个dfs列表:
path =r'D:/PreprocessingITRC/output/All/'
allFiles = glob.glob(path + "/*.csv")
dataframes = []
for file in allFiles:
df = pandas.read_csv(os.path.join(file), index_col=None, header=0)
df.drop('Unnamed: 0', axis=1, inplace=True)
dataframes.append(df)
merged = pd.concat(dataframes, axis=1)
