我目前正在编写一个 Python 守护进程，它实时监控日志文件并根据结果更新 Postgresql 数据库中的条目。该过程只关心日志文件中出现的唯一键以及从该键看到的最新值。
我正在使用轮询方法，每 10 秒处理一个新批处理。为了减少整个数据集以避免对数据库进行无关更新，我只将键和最新值存储在字典中。根据过去 10 秒内的事件量，该指令可能包含 10-1000 个不同的条目。然后 dict 得到“处理”并将这些结果发送到数据库。
我主要关心的是内存管理和随时间推移(天、周等)的指令。由于这是一个不断运行的守护进程，内存使用会根据字典的大小膨胀，但永远不会适当缩小。我已经尝试使用标准取消引用和处理批处理后的 dict.clear() 方法重置 dict，但注意到内存使用没有变化 (FreeBSD/top)。似乎强制 gc.collect() 确实恢复了一些内存，但通常只有 50% 左右。
你们对我应该如何进行有什么建议吗？在我的过程中还有什么我可以做的吗？如果您看到解决该问题的不同方法，请随时插话 :)
请您参考如下方法:
当你清除()字典或删除字典引用的对象时，包含的对象仍然在内存中。如果它们没有在任何地方被引用，它们可以被垃圾收集，正如您所见，但垃圾收集不会在 del 或 clear() 上显式运行。
我为您找到了类似的问题:https://stackoverflow.com/questions/996437/memory-management-and-python-how-much-do-you-need-to-know .简而言之，如果您没有内存不足，您真的不需要为此担心太多。 FreeBSD 本身在处理虚拟内存方面做得很好，所以即使您的 Python 程序中有大量陈旧对象，您的机器也可能不会交换到磁盘。
