Skip to main content
 首页 » 编程设计

python之读取带有开始/结束标签的结构化数据

2024年12月31日11Terrylee

我有一个数据文件部分看起来像

START 
vertex 266.36 234.594 14.6145 
vertex 268.582 234.968 15.6956 
vertex 267.689 232.646 15.7283 
END 
START 
vertex 166.36 23.594 4.6145 
vertex 8.582 23.968 5.6956 
vertex 67.689 32.646 1.7283 
END 
# [...] 

即三个“顶点”的 block 。我现在想尽快读取数据。到目前为止,我将逐行逐行介绍,

data = numpy.empty((n, 3)) 
 
flt = numpy.vectorize(float) 
for k in range(n): 
    parts = f.readline().decode('utf-8').split() 
    assert len(parts) == 4 
    assert parts[0] == 'vertex' 
    data[k] = flt(parts[1:]) 

但这很慢。

有什么提示吗?

请您参考如下方法:

假设您刚刚使用了 START 行,您可以尝试类似的操作

>>> i = iter(file.__next__, 'END\n') 
>>> np.loadtxt(i, usecols=(1,2,3)) 
array([[266.36  , 234.594 ,  14.6145], 
       [268.582 , 234.968 ,  15.6956], 
       [267.689 , 232.646 ,  15.7283]]) 

我假设 loadtxt 相当快,但我不知道 iter 的开销是多少。