Skip to main content
 首页 » 编程设计

python之如何从 .log 文件在 .csv 文件中创建行和列

2025年04月02日9arxive

我正在尝试使用 Python 将来自 MTurk 的 .log 文件解析为包含行和列的 .csv 文件。我的数据如下:

P:,14142,GREEN,800,9;R:,14597,7,y,NaN,Correct;P:,15605,#E5DC22,800,9;R:,16108,7,f,NaN,Correct;P:,17115,GREEN,100,9;R:,17548,7,y,NaN,Correct;P:,18552,#E5DC22,100,9;R:,18972,7,f,NaN,Correct;P:,19979,GREEN,800,9;R:,20379,7,y,NaN,Correct;P:,21387,#E5DC22,800,9;R:,21733,7,f,NaN,Correct;P:,22740,RED,100,9;R:,23139,7,y,NaN,False;P:,24147,BLUE,100,9;R:,24547,7,f,NaN,False;P:,25555,RED,800,9;R:,26043,7,b,NaN,Correct;P:,27051,BLUE,800,9;

目前,我有这个,它将所有内容放入列中:

import pandas as pd 
from pandas import read_table 
log_file = '3BF51CHDTWYBE3LE8DZRA0R5AFGH0H.log' 
df = read_table(log_file, sep=';|,', header=None, engine='python') 

像这样:

P|14142|GREEN|800|9|R|14597|7|y|NaN|Correct|P|15605|#E5DC22|800|9|R|16108

但是,我似乎无法将其分成多行,因此它看起来更像这样:

P|14142|GREEN|800|9|R|14597|7|y|NaN|Correct|
|P|15605|#E5DC22|800|9|R|16108

即其中所有“P”都在一列中,所有颜色都在另一列中,“r”等。

请您参考如下方法:

你可以使用

In [16]: df = pd.read_csv('log.txt', lineterminator=';', sep=':', header=None) 

读取文件(例如,'log.txt'),假设行以 ';' 终止,并且行内的分隔符是 ':'.

不幸的是,您的第二列现在将包含您希望在逻辑上分隔的逗号。您可以沿行拆分逗号,并将结果连接到第一列:

In [17]: pd.concat([df[[0]], df[1].str.split(',').apply(pd.Series).iloc[:, 1: 6]], axis=1) 
Out[17]:  
       0      1        2    3    4        5 
0      P  14142    GREEN  800    9      NaN 
1      R  14597        7    y  NaN  Correct 
2      P  15605  #E5DC22  800    9      NaN 
3      R  16108        7    f  NaN  Correct 
4      P  17115    GREEN  100    9      NaN 
5      R  17548        7    y  NaN  Correct 
6      P  18552  #E5DC22  100    9      NaN 
7      R  18972        7    f  NaN  Correct 
8      P  19979    GREEN  800    9      NaN 
9      R  20379        7    y  NaN  Correct 
10     P  21387  #E5DC22  800    9      NaN 
11     R  21733        7    f  NaN  Correct 
12     P  22740      RED  100    9      NaN 
13     R  23139        7    y  NaN    False 
14     P  24147     BLUE  100    9      NaN 
15     R  24547        7    f  NaN    False 
16     P  25555      RED  800    9      NaN 
17     R  26043        7    b  NaN  Correct 
18     P  27051     BLUE  800    9      NaN 
19  \n\n    NaN      NaN  NaN  NaN      NaN