Skip to main content
 首页 » 编程设计

python之来自任意级别嵌套字典的 numpy 结构化数组

2024年10月24日13qq号

我有一个任意级别的嵌套字典,其中包含字段名称作为键,以及与值大小相同的一维 numpy 数组,例如:

d = {'a' : arr1, 'b' : {'b1' : arr2, 'b2' : {'c' : arr3}}} 

是否有一种简单的方法可以从中构建反射(reflect)原始层次结构的 numpy 结构化数组?此外,如果给出了 OrderedDict,保留字段名称顺序会很好。通常的 np.array、np.asarray、np.rec.array 函数似乎没有帮助。

请您参考如下方法:

大多数情况下,这可以分两步完成。构造一个对应于字典布局的复合数据类型。然后用字典中的数组填充一个空数组。

构建示例字典:

In [94]: arr1=np.arange(10) 
In [95]: arr2=np.arange(100.,110.) 
In [96]: arr3=np.arange(200,210) 
In [98]: d={'a':arr1, 'b':{'b1':arr2, 'b2':{'c':arr3}}} 

这个函数构造数据类型:

def mkdt(d): 
    ll = [] 
    for k,v in d.items(): 
        if isinstance(v,np.ndarray): 
            ll.append((k,v.dtype)) 
        else: 
            ll.append((k,mkdt(v))) 
    return ll 
 
In [176]: np.dtype(foo(d)) 
Out[176]: dtype([('a', '<i4'), ('b', [('b1', '<f8'), ('b2', [('c', '<i4')])])]) 

此函数将数据值从 d 复制到 A:

def copy_values(d, A): 
    if A.dtype.names: 
        for n in A.dtype.names: 
            copy_values(d[n], A[n]) 
    else: 
        A[:]=d 
 
In [264]: A=np.zeros(d['a'].shape,dt)     
In [265]: copy_values(d,A) 
In [266]: A 
Out[266]:  
array([(0, (100.0, (200,))), (1, (101.0, (201,))), (2, (102.0, (202,))), 
       (3, (103.0, (203,))), (4, (104.0, (204,))), (5, (105.0, (205,))), 
       (6, (106.0, (206,))), (7, (107.0, (207,))), (8, (108.0, (208,))), 
       (9, (109.0, (209,)))],  
      dtype=[('a', '<i4'), ('b', [('b1', '<f8'), ('b2', [('c', '<i4')])])]) 

(较早的解决方案)

这是一个交互式 (ipython) session ,可将数据从像您这样的字典传输到结构化数组。

In [94]: arr1=np.arange(10) 
In [95]: arr2=np.arange(100,110) 
In [96]: arr3=np.arange(200,210) 
In [98]: d={'a':arr1, 'b':{'b1':arr2, 'b2':{'c':arr3}}} 

匹配的数据类型:。

In [100]: dt=np.dtype([('a','i'), ('b', np.dtype([('b1','i'),('b2',np.dtype([('c','i')]))]))]) 

创建一个具有正确大小和类型的空数组,并填充字段

In [102]: A=np.zeros((10,),dt)     
In [104]: A['a']=d['a'] 
In [105]: A['b']['b1']=d['b']['b1'] 
In [106]: A['b']['b2']['c']=d['b']['b2']['c'] 
 
In [107]: A 
Out[107]:  
array([(0, (100, (200,))), (1, (101, (201,))), (2, (102, (202,))), 
       (3, (103, (203,))), (4, (104, (204,))), (5, (105, (205,))), 
       (6, (106, (206,))), (7, (107, (207,))), (8, (108, (208,))), 
       (9, (109, (209,)))],  
      dtype=[('a', '<i4'), ('b', [('b1', '<i4'), ('b2', [('c', '<i4')])])]) 

如果所有字段都是相同的数据类型(这里是 int),这个数组也可以构造为二维数组的 View :

np.column_stack([arr1,arr2,arr3]).view(dt).ravel() 

之所以可行,是因为 (10,3) 数组与结构化数组具有相同的数据缓冲区布局。


from numpy.lib import recfunctions 

提供对一些实用功能的访问。

recfunctions.recursive_fill_fields 例如可以将数据从 A 复制到另一个具有相同数据类型的数组(但不是从 column_stack。它使用递归处理嵌套数据类型。

In [149]: recfunctions.flatten_descr(dt) 
Out[149]: (('a', dtype('int32')), ('b1', dtype('int32')), ('c', dtype('int32'))) 

展平你的嵌套。

In [150]: recfunctions.get_fieldstructure(dt) 
Out[150]: {'a': [], 'b': [], 'b1': ['b'], 'b2': ['b'], 'c': ['b', 'b2']} 

这些函数如何处理复杂的数据类型可能比它们实际做的更有用。看代码。