Skip to main content
 首页 » 编程设计

python之为结构化数据调整 Numpy Dtype 大小的最佳方法

2025年05月04日13freeliver54

是否有一种无需每次都重建整个数据类型即可调整 numpy 结构化数据类型大小的好方法?我目前有一种机制可以做到这一点,但我很好奇是否有更有效的方法。为了说明我的要求,我提供了一些代码。基本思想是我想调整特定名称的数据类型的大小。

def resize_dtype(orig_type, resized_type):  
    # I have a bunch of logic in here to loop and build new_array 
    return new_dtype 
 
def test_resize_dtype(): 
    type1 = np.dtype({'names':['col1', 'col2'], 'formats':['2i' ,'4i']}) 
    type2 = np.dtype({'names':['col', 'descr'], 'formats':[5*type1, 'S32']}) 
 
    tmp = np.dtype({'names':['col1', 'col2'], 'formats':['10i' ,'4i']}) 
    desired_type = np.dtype({'names':['col', 'descr'], 'formats':[5*tmp, 'S32']}) 
    resized_type = np.dtype([('col1', '10i')]) 
    new_type = resize_dtype(type2, resized_type) 
    assert new_type == desired_type 

请您参考如下方法:

这不公平。您展示了测试框架,但没有实际执行大小调整的代码。乍一看,test_resize_dtype 看起来像是专注于修改 np.dtype 对象。但是在定义了一堆 dtypes 之后,它所做的就是调用一个未知的 resize_array - 或者这是一个错字,你真的想调用几乎未知的 resize_dtype 函数?

但我推断您的主要目标是将嵌套数据类型 col1 的内部数组大小从 (4,) 更改为 (10 ,)。

据我所知,没有一种简洁或有效的方法来更改这样的数组。您只需要使用新的 dtype 创建一个新数组,然后逐个字段地从旧到新复制数据,并根据需要调整形状。

X.dtype 定义 numpy 如何查看数组 X 的每个元素。 reshape 和 transpose 会影响它处理 X 元素的方式,但不会在内部对这些元素执行任何操作。您对 dtype 的更改不仅改变了元素中字节的解释,还改变了它的大小。所以没有办法重用原始的 X 数据缓冲区。

numpy.lib.recfunctions 有一堆用于处理 rec 数组和结构化数组的 untility 函数,包括添加字段之类的东西。我检查过的那些结束了从旧到新逐个字段复制数据——如果需要,递归地向下嵌套 dtypes 工作。但是您的调整大小可能超出了它的能力范围。

In [92]: X1=np.zeros(1,dtype=type2) 
 
In [93]: X2=np.zeros(1,dtype=desired_type) 
 
In [94]: X1.itemsize 
Out[94]: 152 
 
In [95]: X2.itemsize 
Out[95]: 312 

至于改变现有的dtype,您可以编辑它的descr,并创建一个新的dtype。主要的复杂之处在于 descr 是列表和元组的混合体。列表是可变的,元组不是。但这是一个示例 session :

字段名称,至少在顶层,可以直接更改:

In [141]: type2.names=['column','description'] 
In [142]: type2 
Out[142]: dtype([('column', [('col1', '<i4', (2,)), ('col2', '<i4', (4,))], (5,)), ('description', 'S32')]) 

获取 descr,dtype 的列表表示:

In [164]: d2=type2.descr     
In [165]: d2 
Out[165]:  
[('column', [('col1', '<i4', (2,)), ('col2', '<i4', (4,))], (5,)), 
 ('description', '|S32')] 
 
... 

d2 有足够的信息来重新创建 dtype:np.dtype(d2)。

d2 是一个元组列表;修改我需要将其转换为列表的任何内容:

In [168]: dd2=list(d2[0]) 
In [169]: dd2 
Out[169]: ['column', [('col1', '<i4', (2,)), ('col2', '<i4', (4,))], (5,)] 

嵌入在 dd2 中的是我们要更改的另一个元组:

In [174]: ddd2=list(dd2[1][0]) 
In [175]: ddd2 
Out[175]: ['col1', '<i4', (2,)] 
 
In [176]: ddd2[2]=(10,)    # change the list     
In [177]: ddd2 
Out[177]: ['col1', '<i4', (10,)] 

将此列表(转换回元组)写入dd2:

In [181]: dd2[1][0]=tuple(ddd2)     
In [182]: dd2 
Out[182]: ['column', [('col1', '<i4', (10,)), ('col2', '<i4', (4,))], (5,)] 

瞧,我最终也更改了 d2。那是因为我在 [181] 中更改的是嵌套在元组中的列表。我可能一开始就不需要将 dd2 设为列表。我只是将它用作引用内部可变列表的一种方式。

我现在可以使用 d2 来制作一个匹配 desired_dtype 的 dtype。

In [183]: d2 
Out[183]:  
[('column', [('col1', '<i4', (10,)), ('col2', '<i4', (4,))], (5,)), 
 ('description', '|S32')] 
 
In [184]: np.dtype(d2) 
Out[184]: dtype([('column', [('col1', '<i4', (10,)), ('col2', '<i4', (4,))], (5,)), ('description', 'S32')]) 
 
In [185]: desired_type 
Out[185]: dtype([('col', [('col1', '<i4', (10,)), ('col2', '<i4', (4,))], (5,)), ('descr', 'S32')]) 

对不起,如果这有点啰嗦,但我认为探索过程比最终结果更重要。