Skip to main content
 首页 » 编程设计

python之根据条件连接 csv 文件

2024年11月01日18insus

我想以尽可能快的方式将多个 csv 文件与列值的条件连接起来。

我有一些有效的代码,但是在我将数据帧减少到我需要的站点之前,它连接了所有 csv 文件的所有行(通过 station_number 列中的值)。我想先选择我需要的行,然后再进行串联,这样可以缩短运行时间。感谢您的任何建议!

station = int(input("station number? "))  
 
def Datastations (station,path):  
    filepaths = [os.path.join(path, f) for f in listdir(path) if f.endswith('.csv')] 
    df = pd.concat(map(pd.read_csv, filepaths))  
    df = df[df.station_number==station] 
    return (df) 
 
df1 = Datastations(station,"refdata/obs")  
df2 = Datastations(station,"refdata/BoM_ETA_20160501-20170430/obs") 

请您参考如下方法:

你没有说你遇到了什么问题,所以我只能为你重新排序:

import pandas as pd 
import os 
 
def Datastations (station,path):  
    filepaths = [os.path.join(path, f) for f in os.listdir(path) if f.endswith('.csv')] 
    def process_csv(file_name): 
        df = pd.read_csv(file_name) 
        return df[df.station_number==station] 
    return pd.concat(map(process_csv, filepaths))