Skip to main content
 首页 » 编程设计

来自 genfromtxt 的 Python 2D numpy 数组

2025年01月19日9飞鱼

我有混合字符串和数字内容的数据文件。即:

tag1 0.1 0.2 0.3 
tag2 0.2 0.3 0.5 
tag3 0.1 0.4 0.5 
tag2 0.4 0.3 0.2 
tag1 0.3 0.3 0.1 
tag3 0.2 0.1 0.4 

最终目标是从第 2 列和第 3 列中提取一个数组来分析(可能绘制)所有标签为“tag2”的元素。 (及其其他排列)

关于 stackoverflow 的另一个讨论表明读取文件最好由 genfromtxt 使用 dtype=None 来理解 ascii 条目。

我尝试了这个想法;

x= np.genfromtxt('data1.rpt',dtype=None) 

我希望得到一个 6 行 4 列的二维数组。但事实证明,我得到了一个包含 6 行和一些意想不到的复合条目的数组。

>>> x= np.genfromtxt('data1.rpt',dtype=None) 
>>> x 
array([('tag1', 0.1, 0.2, 0.3), ('tag2', 0.2, 0.3, 0.5), 
       ('tag3', 0.1, 0.4, 0.5), ('tag2', 0.4, 0.3, 0.2), 
       ('tag1', 0.3, 0.3, 0.1), ('tag3', 0.2, 0.1, 0.4)],  
      dtype=[('f0', 'S4'), ('f1', '<f8'), ('f2', '<f8'), ('f3', '<f8')]) 
>>> x.shape 
(6,) 
>>>  

将文件处理成数组的最佳方法是什么,然后可以过滤或切片内容?

感谢您的反馈。

请您参考如下方法:

坚持使用 genfromtxt 加载的数据:

In [155]: txt = b'''tag1 0.1 0.2 0.3 
     ...: tag2 0.2 0.3 0.5 
     ...: tag3 0.1 0.4 0.5 
     ...: tag2 0.4 0.3 0.2 
     ...: tag1 0.3 0.3 0.1 
     ...: tag3 0.2 0.1 0.4'''.splitlines() 
In [156]: data = np.genfromtxt(txt, dtype=None) 
... 
In [157]: data 
Out[157]:  
array([(b'tag1', 0.1, 0.2, 0.3), (b'tag2', 0.2, 0.3, 0.5), 
       (b'tag3', 0.1, 0.4, 0.5), (b'tag2', 0.4, 0.3, 0.2), 
       (b'tag1', 0.3, 0.3, 0.1), (b'tag3', 0.2, 0.1, 0.4)], 
      dtype=[('f0', 'S4'), ('f1', '<f8'), ('f2', '<f8'), ('f3', '<f8')]) 

我在 py3 中,所以字节串显示为 b'tag2''

这是一个结构化数组,包含字段而不是列。

In [158]: data['f0'] 
Out[158]: array([b'tag1', b'tag2', b'tag3', b'tag2', b'tag1', b'tag3'], dtype='|S4') 

所以带有tag2的记录是:

In [161]: mask = data['f0']==b'tag2' 
In [162]: mask 
Out[162]: array([False,  True, False,  True, False, False]) 
In [163]: data1=data[mask] 
In [164]: data1 
Out[164]:  
array([(b'tag2', 0.2, 0.3, 0.5), (b'tag2', 0.4, 0.3, 0.2)], 
      dtype=[('f0', 'S4'), ('f1', '<f8'), ('f2', '<f8'), ('f3', '<f8')]) 

我们可以从那些记录中选择数据列:

In [165]: col2 = data1['f1'] 
In [166]: col3 = data1['f2'] 
In [167]: col2 
Out[167]: array([0.2, 0.4]) 
In [168]: col3 
Out[168]: array([0.3, 0.3]) 

使用 genfromtxt 我可以指定 usecols。通过 2 阶段读取,我们可以跳过结构化数组。

读取一次获取标签:

In [170]: tags =np.genfromtxt(txt, usecols=[0], dtype=str) 
In [171]: tags 
Out[171]: array(['tag1', 'tag2', 'tag3', 'tag2', 'tag1', 'tag3'], dtype='<U4') 
In [172]: mask = tags=='tag2' 
In [173]: mask 
Out[173]: array([False,  True, False,  True, False, False]) 

再次读取获取数据:

In [174]: data =np.genfromtxt(txt, usecols=[1,2,3]) 
In [175]: data 
Out[175]:  
array([[0.1, 0.2, 0.3], 
       [0.2, 0.3, 0.5], 
       [0.1, 0.4, 0.5], 
       [0.4, 0.3, 0.2], 
       [0.3, 0.3, 0.1], 
       [0.2, 0.1, 0.4]]) 
In [176]: data[mask,:] 
Out[176]:  
array([[0.2, 0.3, 0.5], 
       [0.4, 0.3, 0.2]]) 

或者使用更多的dtype,我可以用 2 个字段加载数据:

In [181]: data = np.genfromtxt(txt, dtype='U5,3f') 
In [182]: data 
Out[182]:  
array([('tag1', [0.1, 0.2, 0.3]), ('tag2', [0.2, 0.3, 0.5]), 
       ('tag3', [0.1, 0.4, 0.5]), ('tag2', [0.4, 0.3, 0.2]), 
       ('tag1', [0.3, 0.3, 0.1]), ('tag3', [0.2, 0.1, 0.4])], 
      dtype=[('f0', '<U5'), ('f1', '<f4', (3,))]) 
In [183]: data['f0'] 
Out[183]: array(['tag1', 'tag2', 'tag3', 'tag2', 'tag1', 'tag3'], dtype='<U5') 
In [184]: data['f1'] 
Out[184]:  
array([[0.1, 0.2, 0.3], 
       [0.2, 0.3, 0.5], 
       [0.1, 0.4, 0.5], 
       [0.4, 0.3, 0.2], 
       [0.3, 0.3, 0.1], 
       [0.2, 0.1, 0.4]], dtype=float32)