我正在尝试循环遍历某些文件并使用 pandas 跳过每个文件中标题前的行。所有文件都采用相同的数据格式,但有些文件在标题之前要跳过的行数不同。当有些文件比其他文件要跳过的行多时,有没有一种方法可以遍历文件并从每个文件的标题开始?
例如, 一些文件需要这个:
f = pd.read_csv(fname,skiprows = 7,parse_dates=[0])
有些需要这样:
f = pd.read_csv(fname,skiprows = 15, parse_dates=[0])
这是我在我的文件上循环的代码块:
for name,ID in stations:
path = str(ID)+'/*.csv'
for fname in glob.glob(path):
print(fname)
f = pd.read_csv(fname,skiprows=15,parse_dates=[0]) #could also skip 7 depending on file
ws = f['Wind Spd (km/h)']*0.27778 #convert to m/s from km/h
dt = f['Date/Time']
请您参考如下方法:
一种方法是使用纯 Python I/O 读取文件以提取索引,然后将其提供给 pd.read_csv 的 skip_rows 参数。
这是相当有效的,因为第一步使用了一个生成器表达式,它只读取直到到达所需的行。
from io import StringIO
import pandas as pd
from copy import copy
mystr = StringIO("""dasfaf
kgafsda
Date/Time,num1,num2
2018-01-01,0,1
2018-01-02,2,3
""")
mystr2 = copy(mystr)
# replace mystr with open('file.csv', 'r')
with mystr as fin:
idx = next(i for i, j in enumerate(fin) if j.startswith('Date/Time'))
# replace mystr2 with 'file.csv'
df = pd.read_csv(mystr2, skiprows=idx-1, parse_dates=[0])
print(df)
Date/Time num1 num2
0 2018-01-01 0 1
1 2018-01-02 2 3
如果你需要重复这个任务,把它包装在一个函数中:
def calc_skiprows(fname):
with fname as fin:
idx = next(i for i, j in enumerate(fin) if j.startswith('Date/Time')) - 1
df = pd.read_csv(fname, skiprows=calc_skiprows(fname), parse_dates=[0])
