#packages.
greenlet==0.4.11
Flask==0.11.1
#centos, /etc/security/limit.conf
* soft nofile 65535
* hard nofile 65535
这是我的测试代码 (python 3.5) 我运行了它并观察了内存使用情况。
起初,它以 30MB 内存和 3 个线程开始。 但是在此服务器上发送批量“/do”请求后, 内存增加到 60MB,12 个线程。尽管发送和每个请求都已完成。此内存使用情况未更改。
from gevent import monkey;monkey.patch_all(thread=False)
import gevent
from flask import Flask, request
from gevent.pywsgi import WSGIServer
import requests
app = Flask(__name__)
@app.route("/do", methods=['GET', 'POST'])
def ping():
data = request.get_json()
gevent.spawn(send_request, data)
return 'pong'
def send_request(data):
resp = requests.get("http://127.0.0.1:25000/ping", data=data)
if resp.text != 'pong':
app.logger.error(resp.text)
if __name__ == "__main__":
http = WSGIServer(("0.0.0.0", 9999), app)
http.serve_forever()
end_server = True
app.logger.info("Server will be closed")
我认为这个 python 使用了所有可用的 65535 个文件计数。 我如何限制 python 使用比我在 limit.conf 文件中配置的更少的文件数?
请您参考如下方法:
python 忙的时候好像没有重用socket,所以在spawn中发送请求的时候让socket重来一遍直到limit.conf nofile limit。
所以,我只是给了这个python进程一个限制。
import resource
resource.setrlimit(resource.RLIMIT_NOFILE, (1024, 1024))
== 已更新 ==
但是requests库还是很占内存的..
我刚刚决定使用 tornado http 服务器和 AsyncHttpClient 以及下面的这个选项,
AsyncHTTPClient.configure("tornado.simple_httpclient.SimpleAsyncHTTPClient", max_clients=1000)
tornado.netutil.Resolver.configure("tornado.netutil.ThreadedResolver")
您需要在“导入”内容下方的全局区域中编写此代码。
并在完成请求后使用 gen.moment 立即发送。
@gen.coroutine
def get(self):
self.write("pong")
self.finish()
yield gen.moment
resp = yield self.application.http_client.fetch("...url...", method='POST', headers={"Content-Type": "application/json"},
body=json.dumps({..data..}))
