Skip to main content
 首页 » 编程设计

python之pickling 和 unpickling 用户定义的类

2025年05月04日9JustinYoung

我有一个用户定义的类“myclass”,我用 pickle 模块存储在文件中,但我在解开它时遇到了问题。我有大约 20 个相同结构的不同实例,我保存在不同的文件中。当我读取每个文件时,当我收到错误时,代码适用于某些文件而不适用于其他文件:

'module' object has no attribute 'myclass' 

我今天生成了一些文件,昨天生成了一些文件,我的代码只适用于今天生成的文件(我在昨天和今天之间没有更改类定义)。

我想知道我的方法是否不够健壮,我是否没有按照我应该做的去做,例如我可能无法 pickle 用户定义的类,这是否会在过程中引入一些随机性。

另一个问题可能是我昨天生成的文件是在另一台机器上生成的——因为我在一个学术集群上工作,我有一些登录节点和一些计算节点,这因架构而异。所以我昨天在计算节点上生成文件,今天在登录节点上生成文件,我正在读取登录节点上的所有内容。


正如某些评论中所建议的那样,我已经安装了 dill 并使用 import dill as pickle 加载了它。现在我可以从计算节点读取文件到同一个集群的登录节点。但是,如果我尝试读取在一个集群的计算节点上生成的文件,则无法在另一个集群的登录节点上读取。我在 dill.py 的 _load_type(name) 中得到 KeyError: 'ClassType'

会不会是python版本不一样?我用 python2.7 生成了文件,并用 python3.3 读取了它们。


编辑:

如果我到处都使用 python 2.7,我可以读取 pickled 文件。遗憾的是,我的部分代码是用 python 3 编写的,并不能自动兼容 python 2.7 :(

请您参考如下方法:

你能from mymodule import myclass吗? Pickling 不会 pickle 类,只是对它的引用。要加载 pickle 对象,python 必须能够找到用于创建对象的类。

例如。

import pickle 
 
class A(object): 
    pass 
 
obj = A() 
pickled = pickle.dumps(obj) 
 
_A = A; del A # hide class 
 
try: 
    pickle.loads(pickled) 
except AttributeError as e: 
    print(e) 
 
A = _A # unhide class 
print(pickle.loads(pickled))