Skip to main content
 首页 » 编程设计

python之使用 Panda 通过匹配日期合并 .csv 文件

2024年12月31日7itcoder

我在一个目录中有多个 .csv 文件。我想将它们合并/连接到一个文件中。我想通过匹配日期合并这些数据框(它们的第一列都名为 'date')。

我的代码可以工作,但不能进行日期匹配。我尝试了很多解决方法,但找不到方法:(。

我想我不应该使用 pd.concat 而应该使用 pd.merge 但是没有运气使用类似的东西: dataV = pd.merge(list_data, on ='日期', how='外部')

import pandas as pd 
import glob 
csv_files = glob.glob('./desktop/2019/*.csv') 
 
list_data = [] 
for filename in csv_files: 
    data = pd.read_csv(filename,usecols=['Date','Quantity']) 
    list_data.append(data) 
list_data 
 
dataV = pd.concat(list_data,axis=1,sort=False) 
dataV.to_csv("./desktop/test.csv") 

请您参考如下方法:

.csv 文件内容:

DateCol;QuantityCol 
2015-01-02;10 
2015-01-03;20 
2015-01-04;30 
2015-01-05;40 

您可以使用reduce 方法:

import os 
import pandas as pd 
from functools import reduce 
 
pd.set_option('display.max_columns', 500) 
pd.set_option('display.width', 1000) 
 
os.chdir(r'C:\Temp') 
 
dfs = [ 
    pd.read_csv(csv_file, sep=';') for csv_file in 
    [f for f in os.listdir() if os.path.splitext(f)[1] == '.csv'] 
] 
merged = reduce(lambda left, right: pd.merge(left, right, on='DateCol'), dfs) 
print(merged) 
merged.to_csv('out.csv', sep=';', index=False) 

输出.csv文件内容:

DateCol;QuantityCol_x;QuantityCol_y;QuantityCol_x;QuantityCol_y;QuantityCol 
2015-01-02;10;100;1000;10000;100000 
2015-01-03;20;200;2000;20000;200000 
2015-01-04;30;300;3000;30000;300000 
2015-01-05;40;400;4000;40000;400000 

您可以在导出到 .csv 文件之前重命名列,使用 merged.columns = ['DateCol', 'Quan1', 'Quan2', 'Quan3', 'Quan4' , 'Quan5'].

您还可以计算读取的.csv 文件的数量(或创建的数据帧的数量),然后构建要使用的列列表,例如

columns_to_use = ['DateCol'] + ['Quantity_{}'.format(idx) for idx in range(1, len(dfs) + 1)] 
merged.columns = columns_to_use