Skip to main content
 首页 » 编程设计

python flask+gevent 不释放内存。限制.conf

2025年02月15日6zdz8207

#packages. 
greenlet==0.4.11 
Flask==0.11.1 
 
#centos, /etc/security/limit.conf 
* soft nofile 65535 
* hard nofile 65535 

这是我的测试代码 (python 3.5) 我运行了它并观察了内存使用情况。

起初,它以 30MB 内存和 3 个线程开始。 但是在此服务器上发送批量“/do”请求后, 内存增加到 60MB,12 个线程。尽管发送和每个请求都已完成。此内存使用情况未更改。

from gevent import monkey;monkey.patch_all(thread=False) 
import gevent 
from flask import Flask, request 
from gevent.pywsgi import WSGIServer 
import requests 
 
app = Flask(__name__) 
 
 
@app.route("/do", methods=['GET', 'POST']) 
def ping(): 
    data = request.get_json() 
    gevent.spawn(send_request, data) 
 
    return 'pong' 
 
 
def send_request(data): 
    resp = requests.get("http://127.0.0.1:25000/ping", data=data) 
    if resp.text != 'pong': 
        app.logger.error(resp.text) 
 
 
if __name__ == "__main__": 
    http = WSGIServer(("0.0.0.0", 9999), app) 
    http.serve_forever() 
 
    end_server = True 
    app.logger.info("Server will be closed") 

我认为这个 python 使用了所有可用的 65535 个文件计数。 我如何限制 python 使用比我在 limit.conf 文件中配置的更少的文件数?

请您参考如下方法:

python 忙的时候好像没有重用socket,所以在spawn中发送请求的时候让socket重来一遍直到limit.conf nofile limit。

所以,我只是给了这个python进程一个限制。

import resource 
resource.setrlimit(resource.RLIMIT_NOFILE, (1024, 1024)) 

== 已更新 ==

但是requests库还是很占内存的..

我刚刚决定使用 tornado http 服务器和 AsyncHttpClient 以及下面的这个选项,

AsyncHTTPClient.configure("tornado.simple_httpclient.SimpleAsyncHTTPClient", max_clients=1000) 
tornado.netutil.Resolver.configure("tornado.netutil.ThreadedResolver") 

您需要在“导入”内容下方的全局区域中编写此代码。

并在完成请求后使用 gen.moment 立即发送。

@gen.coroutine 
def get(self): 
    self.write("pong") 
    self.finish() 
    yield gen.moment 
    resp = yield self.application.http_client.fetch("...url...", method='POST', headers={"Content-Type": "application/json"}, 
                                           body=json.dumps({..data..}))