Skip to main content
 首页 » 编程设计

Python Pandas,读取文件并跳过标题前的行

2024年12月31日6dudu

我正在尝试循环遍历某些文件并使用 pandas 跳过每个文件中标题前的行。所有文件都采用相同的数据格式,但有些文件在标题之前要跳过的行数不同。当有些文件比其他文件要跳过的行多时,有没有一种方法可以遍历文件并从每个文件的标题开始?

例如, 一些文件需要这个:

f = pd.read_csv(fname,skiprows = 7,parse_dates=[0]) 

有些需要这样:

f = pd.read_csv(fname,skiprows = 15, parse_dates=[0]) 

这是我在我的文件上循环的代码块:

for name,ID in stations: 
    path = str(ID)+'/*.csv' 
    for fname in glob.glob(path): 
        print(fname) 
        f = pd.read_csv(fname,skiprows=15,parse_dates=[0]) #could also skip 7 depending on file 
        ws = f['Wind Spd (km/h)']*0.27778 #convert to m/s from km/h 
        dt = f['Date/Time'] 

请您参考如下方法:

一种方法是使用纯 Python I/O 读取文件以提取索引,然后将其提供给 pd.read_csv 的 skip_rows 参数。

这是相当有效的,因为第一步使用了一个生成器表达式,它只读取直到到达所需的行。

from io import StringIO 
import pandas as pd 
from copy import copy 
 
mystr = StringIO("""dasfaf 
kgafsda 
 
 
Date/Time,num1,num2 
2018-01-01,0,1 
2018-01-02,2,3 
""") 
 
mystr2 = copy(mystr) 
 
# replace mystr with open('file.csv', 'r') 
with mystr as fin: 
    idx = next(i for i, j in enumerate(fin) if j.startswith('Date/Time')) 
 
# replace mystr2 with 'file.csv' 
df = pd.read_csv(mystr2, skiprows=idx-1, parse_dates=[0]) 
 
print(df) 
 
   Date/Time  num1  num2 
0 2018-01-01     0     1 
1 2018-01-02     2     3 

如果你需要重复这个任务,把它包装在一个函数中:

def calc_skiprows(fname): 
    with fname as fin: 
        idx = next(i for i, j in enumerate(fin) if j.startswith('Date/Time')) - 1 
 
df = pd.read_csv(fname, skiprows=calc_skiprows(fname), parse_dates=[0])