Skip to main content
 首页 » 编程设计

python之当数组名称是 unicode 时,numpy recfunctions append_fields 会失败吗

2024年10月25日26JeffreyZhao

我正在尝试使用 numpy.lib.recfunctions append_fields 函数将数组附加到 numpy recarray。

如果 recarray 字段名称是 unicode,我会收到“TypeError:数据类型不理解”错误。

此行为是否符合设计,如果是,是否有变通方法?

在 Win32 计算机上使用 python 2.7。

下面的代码演示了这个问题(请原谅额外的日期时间操作 - 我想尽可能接近我原来的错误):

from datetime import datetime 
import numpy as np 
import numpy.lib.recfunctions as RF 
 
x1=np.array([1,2,3,4]) 
x2=np.array(['a','dd','xyz','12']) 
x3=np.array([1.1,2,3,4]) 
 
# this works 
FileData = np.core.records.fromarrays([x1,x2,x3],names=['a','b','c']) 
# this doesnt 
#FileData = np.core.records.fromarrays([x1,x2,x3],names=[u'a',u'b',u'c']) 
 
sDT = ['1/1/2000 12:00:00','1/1/2000 13:00:00','1/1/2000     14:00:00','1/1/2000 15:00:00'] 
pDT = [datetime.strptime(x, '%d/%m/%Y %H:%M:%S') for x in sDT] 
 
# convert to unix timestamp 
DT = [ (np.datetime64(dt) - np.datetime64('1970-01-01T00:00:00Z')) /     np.timedelta64(1, 's')  for dt in pDT] 
 
# add datetime to recaray 
print FileData.dtype 
FileData = RF.append_fields(FileData,'DateTime', data=DT)  #, dtypes='f8' 
print FileData.dtype 

请您参考如下方法:

使用 unicode 名称的代码在 Python3 下运行良好,其中 unicode 是默认字符串类型。


编辑:最初我认为问题在于屏蔽数组。但是通过进一步测试,我得出结论,真正的问题是 dtype 是否可以接受 unicode(在 py2 情况下)名称。通常名称必须是字符串(但是版本定义了它们)。但是定义 dtype 的字典样式允许使用 unicode 名称。这是您的 fromarrays 有效但 append_fields 无效的根本原因。

我将保留掩码数组讨论,因为这是您接受的内容。

是屏蔽数组的问题吗?

在2.7下,完整的错误栈是:

  File "stack28586238.py", line 22, in <module> 
    FileData = RF.append_fields(FileData,'DateTime', data=DT)  #, dtypes='f8' 
  File "/usr/local/lib/python2.7/site-packages/numpy/lib/recfunctions.py", line 633, in append_fields 
    base = merge_arrays(base, usemask=usemask, fill_value=fill_value) 
  File "/usr/local/lib/python2.7/site-packages/numpy/lib/recfunctions.py", line 403, in merge_arrays 
    return seqarrays.view(dtype=seqdtype, type=seqtype) 
  File "/usr/local/lib/python2.7/site-packages/numpy/core/records.py", line 501, in view 
    return ndarray.view(self, dtype, type) 
  File "/usr/local/lib/python2.7/site-packages/numpy/ma/core.py", line 2782, in __array_finalize__ 
    _mask = getattr(obj, '_mask', make_mask_none(obj.shape, odtype)) 
  File "/usr/local/lib/python2.7/site-packages/numpy/ma/core.py", line 1566, in make_mask_none 
    result = np.zeros(newshape, dtype=make_mask_descr(dtype)) 
  File "/usr/local/lib/python2.7/site-packages/numpy/ma/core.py", line 1242, in make_mask_descr 
    return np.dtype(_recursive_make_descr(ndtype, np.bool)) 
TypeError: data type not understood 

错误发生在屏蔽数组函数中,调用如下:

np.ma.make_mask_none((3,),dtype=[(u'value','f4')]) 

我在之前的 SO 问题(不久前)中遇到了屏蔽数组的问题。我得看看它是否相关。


Is the mask of a structured array supposed to be structured itself?

没有直接关系,但它确实指出了混合掩码数组和结构化数组时的一些错误。

Adding datetime field to recarray 是您之前关于 add_fields 的 SO 问题,重点是 datetime 类型。

或者用 unicode 名称定义数据类型有问题吗?

通过添加 usemask=False 我将错误转移到另一点,它试图从两个组件 dtype 列表构造一个 dtype:np. dtype(base.dtype.descr + data.dtype.descr).

在2.7中,我们可以构造一个记录数组,unicode名称:

In [11]: np.core.records.fromarrays([[0,1]],names=[u'test']) 
Out[11]:  
rec.array([(0,), (1,)],  
      dtype=[(u'test', '<i4')]) 

但是我不能直接用unicode名称构造一个dtype:

In [12]: np.dtype([(u'test', int)]) 
...     
TypeError: data type not understood 

看起来通常数据类型名称必须是字符串。在 python3 中,np.dtype([(b'test', int)]) 产生相同的错误。

也在py3中

np.core.records.fromarrays([[0,1]],names=[b'test']) 

产生一个 ValueError: field names must be strings。

np.core.records.fromarrays 允许使用 unicode,因为它使用 format_parser:

p=np.format_parser(['int'],[u'test'],[]) 
p.dtype 
# dtype([(u'test', '<i4')]) 

之所以可行,是因为dtype 定义的字典样式接受 unicode:

np.dtype({'names':[u'test'],'formats':['int']}) 

这是一个合并两个具有 unicode 名称的结构化数组的示例(在 py2 中工作):

In [53]: dt1 = np.dtype({'names':[u'test1'],'formats':['int']}) 
In [54]: dt2 = np.dtype({'names':[u'test2'],'formats':['float']}) 
In [55]: dt12 = np.dtype({'names':[u'test1',u'test2'],'formats':['int','float']}) 
 
In [56]: arr1 = np.array([(x,) for x in [1,2,3]],dtype=dt1) 
In [57]: arr2 = np.array([(x,) for x in [1,2,3]],dtype=dt2) 
In [58]: arr12 = np.zeros((3,),dtype=dt12) 
 
In [59]: RF.recursive_fill_fields(arr1,arr12) 
... 
 
In [60]: RF.recursive_fill_fields(arr2,arr12) 
Out[60]:  
array([(1, 1.0), (2, 2.0), (3, 3.0)],  
      dtype=[(u'test1', '<i4'), (u'test2', '<f8')]) 

append_fields 本质上就是这样做的(添加了一些花里胡哨的东西)。


我已经对 https://github.com/numpy/numpy/issues/2407 添加了评论 dtype 字段名称不能是 unicode (Trac#1814)