Skip to main content
 首页 » 编程设计

python之在 Python 3 中加载 Python 2 .npy 文件时出错

2025年02月15日9jackei

我有使用 Python 2.7.9 和 Numpy 版本 1.11.3 使用命令 np.save('filename') 创建的 .npy 文件。这些文件是在属于我们研究所 linux 集群一部分的外部机器上生成的。我将文件复制到我的本地计算机,以便通过 np.load('filename.npy') 导入它们。在我的本地机器上,我运行 Python 3.5.2 和 Numpy 版本 1.13.0 以及 Jupyter-Notebook。本地操作系统为 Ubuntu 16.04.2。

当我尝试在本地加载文件时出现错误:

ValueError: invalid literal for int() with base 16 

在浏览了一些 Stackoverflow 问题后,我尝试指定编码:

np.load('filename.npy',encoding='latin1') 

这给出了同样的错误。 encoding='bytes' 产生:

TypeError: can't multiply sequence by non-int of type 'float' 

这是一个更大的回溯片段:

/usr/local/lib/python3.5/dist-packages/numpy/lib/npyio.py in load(file, mmap_mode, allow_pickle, fix_imports, encoding) 
417             else: 
418                 return format.read_array(fid, allow_pickle=allow_pickle, 
--> 419                                          pickle_kwargs=pickle_kwargs) 
420         else: 
421             # Try a pickle 
 
/usr/local/lib/python3.5/dist-packages/numpy/lib/format.py in read_array(fp, allow_pickle, pickle_kwargs) 
638             pickle_kwargs = {} 
639         try: 
--> 640             array = pickle.load(fp, **pickle_kwargs) 
641         except UnicodeError as err: 
642             if sys.version_info[0] >= 3: 
 
/usr/local/lib/python3.5/dist-packages/sympy/core/numbers.py in __new__(cls, num, prec) 
823                 else: 
824                     _mpf_ = mpmath.mpf( 
--> 825                         S.NegativeOne**num[0]*num[1]*2**num[2])._mpf_ 
826         elif isinstance(num, Float): 
827             _mpf_ = num._mpf_ 
 
TypeError: can't multiply sequence by non-int of type 'float' 

我猜想在 Python 和 Numpy 版本之间的转换中编码出了问题。关于如何导入文件的任何想法?

请您参考如下方法:

如图What is the way data is stored in *.npy? , .npy 文件是字节码,如果你在十六进制编辑器中打开一个,你就会看到。

Python 2 字节码 .pyc、.pyo 文件无法在 Python 3 中运行,因为虚拟机和编译器内部结构已随主要版本发生变化。

同样,NumPy 的 C 内部结构和字节码编译器在 Python 3 中也发生了变化,破坏了向后兼容性。 (这是有意为之的,因为字节码并不意味着会持续这么久,也不会在与创建时不同的版本中使用。)

这些变化的组合意味着,如果不对 Python 3 的字节码解释器和 Python 3 的 NumPy 和/或从 Python 2 NumPy 字节码到 Python 3 的字节码的转译器进行巨大更改,就无法使用这些 Python 2。 Python 3 中的 npy 文件。


正如我之前提到的,这有点像 X/Y Problem .你不应该依赖于 .npy 文件跨版本工作,因为不能保证它们会,因为它们本质上是一种易变的格式(如 Python VM 字节码)。

与其对字节码进行逆向工程来调试它,不如尝试获取生成这些文件的源。