所以我有以下形式的日志文件
n400_108tb_48gb 2 G 1,3-7 1 20G / 286T (< 1% )
n400_108tb_48gb:1 1 D 1-3:bay1-6 - 2.1G / 48T (< 1% )
n400_108tb_48gb:3 3 D 1-3:bay7-12 - 1.9G / 48T (< 1% )
n400_108tb_48gb:4 4 D 1-3:bay13-18 - 10G / 48T (< 1% )
n400_108tb_48gb:5 5 D 1-3:bay19-24 - 2.0G / 48T (< 1% )
n400_108tb_48gb:6 6 D 1-3:bay25-30 - 2.2G / 48T (< 1% )
n400_108tb_48gb:7 7 D 1-3:bay31-36 - 1.7G / 48T (< 1% )
这看起来不错，处理起来也很简单，所以我只需编写正则表达式来一次处理那一行。
([0-9a-z_:]*)\s*([1-9])\s*([DGPTE])\s*([0-9a-z_:,-]*)\s*([1-9])\s*([0-9.]+[KMGTPE]).*?([0-9]*[KMGTPE])
我的意思是，这很难看，但我可以将其简化为
_name = r"([0-9a-z_:]*)\s*"
_id = r"([1-9])
_type = r"([DGPTE])"
_members = r"([0-9a-z_:,-]*)"
_vhs = r"([1-9-])"
_used = r"([0-9.]*[KMGTPE])"
_size = r"([0-9.]*[KMGTPE])"
_disk_protections_regex_string = r"{0}\s*{1}\s*{2}\s*{3}\s*{4}\s*{5}.*?{6}".format(
_name,
_id,
_type,
_members,
_vhs,
_used,
_size,)
然后我发现我必须解析这种格式的文件。
s200_13tb_400gb 1 +3 system, vhs_de 1:0-23, 1 53T / 218T (25% )
-ssd_48gb-ram ny_writes, vhs 2:0-23, 3:0-
_hide_spare, 1,3-19,21-25
ssd_metadata , 4:0-23,
5:0-23,
6:0-23,
7:0-23,
8:0-23,
9:0-23,
10:0-23,
11:0-23,
12:0-23,
13:0-23,
14:0-23,
15:0-23,
16:0-23,
17:0-23,
18:2-25
然后突然 期望值是
s200_13tb_400gb-ssd_48gb-ram
system vhs_deny_writes, vhs_hide_spare, ssd_metadata
1:0-23, 2:0-23, 3:0-1,3-19,21-25, 4:0-23, 5:0-23, 6:0-23, 7:0-23, 8:0-23, 9:0-23, 10:0-23, 11:0-23, 12:0-23, 13:0-23, 14:0-23, 15:0-23, 16:0-23, 17:0-23, 18:0-23,
以及我提供的原始格式。我什至不知道从哪里开始使用空格分隔的列分隔值。
请您参考如下方法:
我创建了一个更动态的方法，它可以自己找到列定义。
解释
- 脚本首先在文件中查找每个列中的列 line 字符是一个空格。
- 然后它根据空白列之间定义数据列定义。
+ [len(content[0])]在末尾添加一个额外的空白列，以便在需要时可以访问最后一个数据列。 - 使用定义的列提取数据。
- 如果数据与特定定义的模式匹配，则打印数据。 警告:如果每个文件有多个记录，则必须更改此步骤。
代码
import re
from collections import Counter
# Patterns to save in the end, [name, attr, values]
patterns = [r"^([0-9a-z_-]{4,}$)", r"^([a-z_,\s]*$)", r"([0-9:,\s-]{4,})$"]
# Get file content, remove any trailing empty line.
with open('/path/to/my/file') as f:
content = f.read().split('\n')
if not content[-1]:
content = content[:-1]
# 1) Find all single character columns in content with only whitespaces.
no_lines = len(content)
whitespaces = [i for l in content for i, char in enumerate(l) if char == ' ']
whi_columns = [k for k, v in Counter(whitespaces).iteritems() if v == no_lines]
# .items() in python3
# 2) Get all real columns that are between whitespace columns.
columns_defs = []
for i, whi_col in enumerate(whi_columns + [len(content[0])]):
if whi_col and not i: #special first column
columns_defs.append(slice(whi_col))
if whi_col > whi_columns[i - 1] + 1:
columns_defs.append(slice(whi_columns[i - 1] + 1, whi_col))
# 3) Extract columns from file content.
data_columns = [[line[col].strip() for line in content] for col in columns_defs]
# 4) Save columns fitting patterns.
for data_col in data_columns:
data = ''.join(data_col)
if re.match(r'|'.join(patterns), data):
print data
输出
s200_13tb_400gb-ssd_48gb-ram
system, vhs_deny_writes, vhs_hide_spare,ssd_metadata
1:0-23,2:0-23, 3:0-1,3-19,21-25, 4:0-23,5:0-23,6:0-23,7:0-23,8:0-23,9:0-23,10:0-23,11:0-23,12:0-23,13:0-23,14:0-23,15:0-23,16:0-23,17:0-23,18:2-25
