执行以下代码以加载几个大型(~200MB)JSON 文件:
def work():
jsons = get_data()
# do something with the jsons
def get_data():
json_files = []
for json_path in file_paths_list:
json_files.append(load_json(json_path))
return json_files
def load_json(json_path):
import json
with open(json_path) as f:
return json.load(f)
这是 Pycharm 的自定义 VM 选项的外观(最大 30GB 堆大小,RAM 为 32GB):
# custom PyCharm VM options
-Xms25000m
-Xmx30000m
...
...
...
“使缓存无效/重新启动”的热门建议已经应用。
加载 2 个文件(总共约 400MB)后,在第 3 个文件中抛出异常“MemoryError”。
我不明白为什么如果我有高达 30GB 的堆大小,在只有 400MB 后就会抛出内存错误?
请您参考如下方法:
PyCharm 是 Python IDE,而不是 Python 解释器。它使用的内存用于编辑阶段。
由于 python 对象的开销,400MB 的文件很可能会扩展到几千兆字节的数据(可能不是 30,而是 3 或 4)。示例:
>>> s = "hello"
>>> import sys
>>> sys.getsizeof(s)
54
基本上内存中对象的大小远大于字符串的大小。
所以如果你的 python 解释器是 32 位解释器,你有 2GB 或 3GB 的限制,这可以解释这一点。 PyCharm 使用 64 位内核,但无法帮助解释器部分。
升级到 64 位解释器,可以充分利用您的所有 RAM。
您可以使用此(来自 Pycharm)检查版本信息和 32/64 位信息:
>>> import sys
>>> sys.version
例如我得到:
('3.4.3 (v3.4.3:9b73f1c3e601, Feb 24 2015, 22:44:40) [MSC v.1600 64 bit '
'(AMD64)]')
如果它显示“32 位”,我的猜测是正确的。所以卸载 32 位版本 & 只需安装相同版本的 python,但在 64 位中,并选择它作为 pycharm 中的当前解释器。
您可能需要在新安装中安装额外的模块,所以更好dump the requirement textfile在卸载之前能够在新的 64 位版本上执行全局 pip 安装。
