我有一个如下所示的日志文件:
A, colA1, colA2
B, colB1,
C, colC1, colC2, colC3, colC4
A, 1, 3
B, 2
C, 3, 1, 2, 4
...
本质上，日志文件包含多个 CSV 文件。每行都以 csv 文件的标识符开头，然后转储一行。
目前，我在日志上使用 grep A, 返回以下输出:
A, colA1, colA2
A, 1, 3
...
然后我可以使用 pandas 将其读取到数据框中。但是，我必须为 B 和 C 执行此操作。 我想知道是否有一种方法可以一次性加载此日志文件，而无需 greping 和存储到本地 csv 文件的中间步骤？
请您参考如下方法:
Pandas 索引可以在这方面提供帮助。只需读取一个对象中的文件，然后根据指示器列应用条件将数据隔离在三个对象中。
检查下面的例子:
import pandas as pd
complete_obj = pd.read_csv(file_loc)
file_A_obj = complete_obj[complete_obj['indicator_col']=='A']
file_B_obj = complete_obj[complete_obj['indicator_col']=='B']
file_C_obj = complete_obj[complete_obj['indicator_col']=='C']
