Skip to main content
 首页 » 编程设计

python Pycharm : Out of memory when loading large JSON files

2024年12月31日16dyllove98

执行以下代码以加载几个大型(~200MB)JSON 文件:

def work(): 
    jsons = get_data() 
    # do something with the jsons 
 
def get_data(): 
    json_files = [] 
    for json_path in file_paths_list: 
        json_files.append(load_json(json_path)) 
    return json_files 
 
def load_json(json_path): 
    import json 
    with open(json_path) as f: 
        return json.load(f) 

这是 Pycharm 的自定义 VM 选项的外观(最大 30GB 堆大小,RAM 为 32GB):

# custom PyCharm VM options 
 
-Xms25000m 
-Xmx30000m 
... 
... 
... 

“使缓存无效/重新启动”的热门建议已经应用。

加载 2 个文件(总共约 400MB)后,在第 3 个文件中抛出异常“MemoryError”。

我不明白为什么如果我有高达 30GB 的堆大小,在只有 400MB 后就会抛出内存错误?

请您参考如下方法:

PyCharm 是 Python IDE,而不是 Python 解释器。它使用的内存用于编辑阶段。

由于 python 对象的开销,400MB 的文件很可能会扩展到几千兆字节的数据(可能不是 30,而是 3 或 4)。示例:

>>> s = "hello" 
>>> import sys 
>>> sys.getsizeof(s) 
54 

基本上内存中对象的大小远大于字符串的大小。

所以如果你的 python 解释器是 32 位解释器,你有 2GB 或 3GB 的限制,这可以解释这一点。 PyCharm 使用 64 位内核,但无法帮助解释器部分。

升级到 64 位解释器,可以充分利用您的所有 RAM。

您可以使用此(来自 Pycharm)检查版本信息和 32/64 位信息:

>>> import sys 
>>> sys.version 

例如我得到:

('3.4.3 (v3.4.3:9b73f1c3e601, Feb 24 2015, 22:44:40) [MSC v.1600 64 bit ' 
 '(AMD64)]') 

如果它显示“32 位”,我的猜测是正确的。所以卸载 32 位版本 & 只需安装相同版本的 python,但在 64 位中,并选择它作为 pycharm 中的当前解释器。

您可能需要在新安装中安装额外的模块,所以更好dump the requirement textfile在卸载之前能够在新的 64 位版本上执行全局 pip 安装。