Skip to main content
 首页 » 编程设计

python之如何使用 Pandas concat 导入多个 csvs、分配变量并连接到一个 DataFrame 中

2024年12月31日9shanyou

我想优化下面的代码。它有效,但如果可以更简洁有效地完成,我想提出建议。

import os 
import glob 
import pandas as pd 
import numpy as np 
 
files = glob.glob(os.path.join('data','*.csv')) 
 
dfs = [] 
 
for file in files: 
 
       variable = os.path.basename(file).split("_")[0] #split filename  
       df= pd.read_csv(file) 
       df['variable'] = variable #assign variable 
       dfs.append(df) 
 
finalDf = pd.concat(dfs, ignore_index = True) 

有什么想法吗?提前谢谢你

Pandas 0.21.1 和 Python 3.6.5

请您参考如下方法:

您的代码结构非常好。连接数据帧列表比重复附加到现有数据帧更有效。

设置数据类型

您可以尝试和优化的是读取您的 csv 文件,即 df = pd.read_csv(file)。我唯一的建议是使用将列名映射到类型的字典来指定 dtype 参数。特别是,如果您有包含分类数据的列,请映射到 'category' 以确保优化内存使用。

列表理解+赋值

你提到了更简洁的代码。您可以利用 pd.DataFrame.assign 创建一个新系列并将其设置为您的文件名。此外,您可以使用列表理解:

dfs = [pd.read_csv(file).assign(variable=os.path.basename(file).split('_')[0]) \ 
       for file in glob.glob(os.path.join('data','*.csv'))] 
 
finalDf = pd.concat(dfs, ignore_index=True) 

如果您选择这种方法,您可能会失去可读性,因此请记录您正在做的事情。