Skip to main content
 首页 » 编程设计

python之内存中有耗时对象

2024年10月25日10虾米姐

下面的代码是我的主要功能的一部分

def main(): 
    model = GoodPackage.load_file_format('hello.bin', binary=True) 
    do_stuff_with_model(model) 
 
def do_stuff_with_model(model): 
    do something~ 

假设hello.bin 的大小为几千兆字节,加载它需要一段时间。 do_stuff_with_model 方法仍然不稳定,我必须进行大量迭代才能获得稳定版本。换句话说,我必须多次运行主函数才能完成调试。但是,由于每次运行代码都需要几分钟来加载模型,因此非常耗时。有没有办法让我将模型对象存储在其他地方,这样每次我通过在控制台中键入 python my_code.py 来运行代码时,我都不必等待?我假设使用 pickle 也无济于事,因为文件仍然很大。

请您参考如下方法:

如何创建一个 ramdisk ?如果你有足够的内存,你可以将整个文件存储在 RAM 中。这将大大加快速度,但您可能每次重新启动计算机时都必须这样做。

在 Linux 上创建虚拟磁盘非常简单。只需创建一个目录:

mkdir ramdisk 

并将其挂载为 temps 或 ramfs 文件系统:

mount -t tmpfs -o size=512m tmpfs ./ramdisk 

从那里您可以简单地将您的大文件复制到 ramdisk。这样做的好处是您的代码保持完全相同,除了简单地更改大文件的路径。文件访问与正常情况一样发生,但现在速度快得多,因为它是从 RAM 加载文件。