我有一个 Python 脚本,它使用 asyncio 发出超过一百万个请求。我首先遇到了内存问题,然后发现了信号量,此后我成功地实现了一个信号量来限制并发任务的数量以及队列中的任务数量。
我的程序加载这样的请求列表:
with open(wordlist) as words:
w = words.read().splitlines()
然后该列表被传递给以下函数进行处理,实际工作就完成了。
async def _process_dns_wordlist(self, wordlist, domain):
"""Takes a list of words and adds them to the task list as space is available"""
for word in wordlist:
# Wait on the semaphore before adding more tasks
await self.sem.acquire()
host = '{}.{}'.format(word, domain)
task = asyncio.ensure_future(self._dns_lookup(host))
task.add_done_callback(functools.partial(self._dns_result_callback, host))
self.tasks.append(task)
await asyncio.gather(*self.tasks, return_exceptions=True)
在我实现信号量之前,程序只会崩溃,当我排队所有任务时内存不足,现在它运行了一段时间然后崩溃,因为它在请求的大约 1/2 方式中内存不足。
我认为这是因为在我的回调处理 future 之后,它位于内存浪费空间中。我的问题是,一旦我完成处理,我无法弄清楚使用什么来删除已处理的 future 。我已经阅读了 asyncio 文档,但没有看到销毁/删除方法。我错过了一些非常明显的东西吗?
感谢您的帮助!
请您参考如下方法:
您是否出于某种原因存储任务?据我了解,每个任务对象都由事件循环保存。当你在 self.tasks 中存储另一个副本时,在 eventloop 完成它的地方,仍然会有对它的引用(在 self.tasks 中)。这将防止 future (已完成)被垃圾收集。
如果您将 self.tasks 更改为本地 tasks 变量以传递给 gather,我猜代码也能正常工作,内存使用量更少,然后超出范围。
这比在回调中删除 future 更有效(和可读),但具有相同的净效果。
