Skip to main content
 首页 » 编程设计

python之Python 中的数据局部性优化

2025年05月04日11mate10pro

问题是关于在 Python 中如何为这个类分配内存,问这个问题更多是出于好奇,而不是为了现实生活中的值(value)。

以下后处理类处理大量数据(numpy 数组)。这是真实代码的简化版本,使问题更易读。来自基类的共享数据现在替换为 characteristic_length 变量。

class Reader(object): 
    characteristic_length = 1 
    def factory(type_name, file_name): 
        if type_name == "OFReader": return OFReader(file_name) 
        ... 
        assert 0, "Bad reader instantiation: " + type_name 
... 
class OFReader(Reader): 
    def __init__(self, of_file_name): 
        self.file_name = of_file_name 
        self.read_data() 
    .... 
    def length(self): 
        return self.data[:,0] / self.characteristic_length 
... 

我对 python 处理内存的方式很陌生,我很好奇将 characteristic_length 放在子类中是否会提高性能?

根据 python 文档,我想派生类实例有一个指向定义基类的地址的指针。如果子类中的查找失败,则在基类中继续查找。这听起来像使用基类属性来存储派生类共享的数据非常昂贵。

在实际应用中,共享数据是有点大的 numpy 数组,但对所有派生类都是通用的。懒惰,我想避免单独读取每个子类的数据。关于如何有效解决此问题的任何指示?

请您参考如下方法:

最简单的解决方案是使 numpy 数组成为全局数组。如果你想阻止用户修改该数组,你可以设置 writable flag为 False。

或者,您可以将其设为 Reader 类的类属性。