我用Python的dict类型存储一个数据文件,key超过550k,差不多29M。但是读取数据文件后,内存占用超过70M,不正常。
那么,这是如何发生的呢?
下面是读取数据文件的函数。
def _update_internal_metrics(self, signum, _):
"""Read the dumped metrics file"""
logger.relayindex('reload dumped file begins')
dumped_metrics_file_path = os.path.join(settings.DATA_DIR,
settings.DUMPED_METRICS_FILE)
epoch = int(time.time())
try:
new_metrics = {}
with open(dumped_metrics_file_path) as dumped_metrics_file:
for line in dumped_metrics_file:
line = line.strip()
new_metrics[line] = epoch
except Exception:
if not signum:
self._reload_dumped_file()
logger.relayindex("Dumped metrics file does not exist or can"
"not be read. No update")
else:
settings["metrics"] = new_metrics
instrumentation.increment('dumped.Reload')
logger.relayindex('reload dumped file ends')
请您参考如下方法:
首先,top 不是检查它的正确方法,因为它会告诉您整个过程的内存消耗。您可以使用 sys 模块中的 getsizeof:
sys.getsizeof(new_metrics)
其次,字符串和哈希表都有一些开销:
sys.getsizeof('')
在我的系统上,这是 24 字节的开销,并且无论字符串大小如何,开销都是一致的。使用 550k key 大约有 13M 开销。
Python 试图使哈希表不要过于密集,否则会耗尽查找时间。据我所知,cpython 实现使用 2x 增长因子,表大小为 2^k。由于您的 key 大小刚好超过两倍 (math.log(550000,2) # 19.06),因此它相对稀疏,有 2 ** 20 = 1048576 插槽。在您的 64 位系统上,每个字符串有 8 个字节的对象指针,这是额外的 8M 开销。您还存储原始文件中没有的整数(另外 8M),并且每个哈希表槽还包含存储的哈希值(另外 8M)。查看来源 PyDictEntry .
总共有 66M,当然您需要一些空间来存放 python 应用程序的其余部分。我觉得一切都很好。
