有点麻烦,非常感谢您的帮助。 尝试验证具有不同 header 结构的不同 csv 文件。例如 type1.csv 有以下内容
COL1|COL2|COL3|COL4
A1|A2|A3|A4
B1|B2|B3|B4
C1|C2|C3|C4
D1|D2|D3|D4
使用 header=None
df = pd.read_csv(type1.csv, sep='|', header=None)
渲染
# 0 1 2 3
0 COL1 COL2 COL3 COL4
1 A1 A2 A3 A4
2 B1 B2 B3 B4
3 C1 C2 C3 C4
4 D1 D2 D3 D4
这很好,因为我可以在索引 0(col1、col2 等)的列轴上发出替换
header = df.columns.values
但是,如果我有另一个具有以下结构的文件 type2.csv
Datetime|timezone|source|unique identifier
Non Header Row Count = 4 |||
COL1|COL2|COL3|COL4
A1|A2|A3|A4
B1|B2|B3|B4
C1|C2|C3|C4
D1|D2|D3|D4
带标题 = 无给我数据框
# 0 1 2 3
0 Datetime timezone source unique identifier
1 Non Header Row Count = 4 NaN NaN NaN
2 COL1 COL2 COL3 COL4
3 A1 A2 A3 A4
4 B1 B2 B3 B4
5 C1 C2 C3 C4
6 D1 D2 D3 D4
我想实现的方法是读取一个数据帧,并将 header 设置为无,然后遍历以查找具有任何值 COL1、COL2、COL3 等的行,并将数据帧拆分为高于该索引的值,也许使用head(n) 其中 n 是包含 COL1、COL2 等的行,无论该行上方是什么(我计划将其拆分为一个新的数据框以对内容进行一些分析)
示例分割
# 0 1 2 3
0 Datetime timezone source unique identifier
1 Non Header Row Count = 4 NaN NaN NaN
# 0 1 2 3
0 COL1 COL2 COL3 COL4
1 A1 A2 A3 A4
2 B1 B2 B3 B4
3 C1 C2 C3 C4
4 D1 D2 D3 D4
这是否可以使用 isin() 或 isin() 与正则表达式或 query() 的组合来实现?我已经搜索过类似的示例和问题,但无法弄清楚它是否可以正常工作(而且我仍在掌握 pandas 文档)。
我想避免 skiprows,因为我确实希望将数据保留在 COL1、COL2、COL3 行之上以进行数据完整性检查,因此执行预验证步骤读取文件并确定我的标题列位置然后读取它作为一个使用 skiprows 的数据框并不是这里的最佳方法。
如果可以的话,我们将不胜感激。如果问题不清楚或者我在做愚蠢的假设/方法不好,我深表歉意。欢迎任何批评、反馈或建议(建设性的或其他的:))
请您参考如下方法:
您可以使用:
import pandas as pd
import io
temp=u"""Datetime|timezone|source|unique identifier
Non Header Row Count = 4 |||
COL1|COL2|COL3|COL4
A1|A2|A3|A4
B1|B2|B3|B4
C1|C2|C3|C4
D1|D2|D3|D4"""
#after testing replace io.StringIO(temp) to filename
df1 = pd.read_csv(io.StringIO(temp), sep="|")
print df1
Datetime timezone source unique identifier
0 Non Header Row Count = 4 NaN NaN NaN
1 COL1 COL2 COL3 COL4
2 A1 A2 A3 A4
3 B1 B2 B3 B4
4 C1 C2 C3 C4
5 D1 D2 D3 D4
df2 = df1[2:]
df2.columns = df1.loc[1,:]
df2 = df2.reset_index(drop=True).rename_axis(None, axis=1)
print df2
COL1 COL2 COL3 COL4
0 A1 A2 A3 A4
1 B1 B2 B3 B4
2 C1 C2 C3 C4
3 D1 D2 D3 D4
print df1[:1]
Datetime timezone source unique identifier
0 Non Header Row Count = 4 NaN NaN NaN
编辑:
然后您可以通过contains 在第一列中找到COL1 的索引|与 boolean indexing :
col = df1[df1.iloc[:,0].str.contains('COL1')].index.tolist()[0]
print col
1
df2 = df1[col+1:]
df2.columns = df1.loc[col,:]
df2 = df2.reset_index(drop=True).rename_axis(None, axis=1)
print df2
COL1 COL2 COL3 COL4
0 A1 A2 A3 A4
1 B1 B2 B3 B4
2 C1 C2 C3 C4
3 D1 D2 D3 D4
print df1[:col]
Datetime timezone source unique identifier
0 Non Header Row Count = 4 NaN NaN NaN
