Skip to main content
 首页 » 编程设计

python之构建用于连续运行 python 进程的 HTTP API

2024年11月01日10TianFang

TL;DR:我有一段制作精美、持续运行的 Python 代码,用于控制和读取物理实验。现在我想添加一个 HTTP API。

我已经编写了一个使用 USB 控制硬件的模块。我可以编写多种类型的自主操作实验的脚本,但我想通过 Internet 控制我正在运行的实验。我喜欢 HTTP API 的想法,并且已经使用 Flask 的开发服务器实现了概念验证。

实验作为单个进程运行,要求 USB 连接并定期(每 16 毫秒)读取所有数据。该进程可以写入硬件设置和命令,读取数据和命令响应。

我在选择“正确”方式与此过程进行通信时遇到了一些问题。如果 HTTP 服务器只有一个 worker,它就可以工作。然后,我可以使用 python 的 multiprocessing.Pipe 进行通信。使用或多或少的低级套接字(或类似zeromq的东西)应该可以工作,即使对于请求/响应也是如此,但我必须实现某种协议(protocol):发送{'cmd':'set_voltage','value':900 } 而不是调用 hardware.set_voltage(800) (我可以在独立脚本中使用它)。我可以使用某种 RPC,但据我所知,它们(SimpleXMLRPCServer、Pyro)都对“服务器”使用某种事件循环,在本例中是运行实验的进程,以处理请求。但是我不能让事件循环等待传入的请求;它应该读出我的硬件!我在谷歌上搜索了很多,但无论我如何尝试重新表述我的问题,我最终以 Celery 作为答案,它主要是一个接一个地触发一个作业,但并不是真正与一个长期运行的进程进行通信。

我很困惑。我可以让它工作,但我担心我会重新发明一些轮子。我只想在终端中启动我的应用程序,从任何地方打开网络浏览器,并监视和控制我的实验。

更新:以下代码是使用该模块的基本示例:

from pysparc.muonlab.muonlab_ii import MuonlabII 
 
muonlab = MuonlabII() 
muonlab.select_lifetime_measurement() 
muonlab.set_pmt1_voltage(900) 
muonlab.set_pmt1_threshold(500) 
 
lifetimes = [] 
while True: 
    data = muonlab.read_lifetime_data() 
    if data: 
        print "Muon decays detected with lifetimes", data 
        lifetimes.extend(data) 

模块位于 https://github.com/HiSPARC/pysparc/tree/master/pysparc/muonlab . 我当前的 HTTP API 实现位于 https://github.com/HiSPARC/pysparc/blob/master/bin/muonlab_with_http_api。 .

我对这个模块非常满意(有很多测试)但是 HTTP API 使用 Flask 的单线程开发服务器运行(文档和互联网告诉我这是个坏主意)并通过管道传递字典某种IPC。我希望能够在上面的脚本中做这样的事情:

while True: 
    data = muonlab.read_lifetime_data() 
    if data: 
        print "Muon decays detected with lifetimes", data 
        lifetimes.extend(data) 
    process_remote_requests() 

其中 process_remote_requests 是一个相当短的函数,用于调用 muonlab 实例或返回数据。然后,在我的 Flask View 中,我会有类似的东西:

muonlab = RemoteMuonlab() 
 
@app.route('/pmt1_voltage', methods=['GET', 'PUT']) 
def get_data(): 
    if request.method == 'PUT': 
        voltage = request.form['voltage'] 
        muonlab.set_pmt1_voltage(voltage) 
    else: 
        voltage = muonlab.get_pmt1_voltage() 
        return jsonify(voltage=voltage) 

从应用程序获取测量数据可能不是什么问题,因为我可以将其存储在 SQLite 或其他处理并发访问的东西中。

请您参考如下方法:

但是...您确实有一个 IO 循环;它每 16 毫秒运行一次。

在这种情况下,您可以使用 BaseHTTPServer.HTTPServer;只需将 timeout 属性设置为较小的值即可。基本上...

class XmlRPCApi: 
    def do_something(self): 
        print "doing something" 
 
server = SimpleXMLRPCServer(("localhost", 8000)) 
server.register_instance(XMLRpcAPI()) 
server.timeout = 0 
 
while True: 
    sleep(0.016) 
    do_normal_thing() 
    x.handle_request() 

编辑:python 有一个内置服务器,也建立在 BaseHTTPServer 上,能够为 flask 应用程序提供服务。由于 flask.Flask() 恰好是一个 wsgi 兼容的应用程序,您的 process_remote_requests() 应该如下所示:

import wsgiref.simple_server 
remote_server = wsgire.simple_server('localhost', 8000, app) 
# app here is just your Flask() application! 
 
# as before, set timeout to zero so that you can go right back  
# to your event loop if there are no requests to handle 
remote_server.timeout = 0 
 
def process_remote_requests(): 
    remote_server.handle_request() 

如果您只有短期运行的请求,这就足够了;但是,如果您需要处理的请求可能比事件循环的正常轮询间隔时间更长,或者如果您需要处理的请求多于每单位时间的轮询,那么您就不能使用这种方法。

不过,您不一定需要 fork 另一个进程,您可以通过在另一个线程中使用工作池来实现。大致:

import threading 
import wsgiref.simple_server 
remote_server = wsgire.simple_server('localhost', 8000, app) 
POOL_SIZE = 10 # or some other value. 
pool = [threading.Thread(target=remote_server.serve_forever) for dummy in xrange(POOL_SIZE)] 
for thread in pool: 
    thread.daemon = True 
    thread.start() 
 
while True: 
    pass # normal experiment processing here; don't handle requests in this thread. 

但是;这种方法有一个主要缺点,您现在必须处理并发!像使用上述循环那样自由地操作程序状态是不安全的,因为您可能会同时在主线程(或另一个 http 服务器线程)中操作相同的状态。由您决定何时有效,用某种互斥锁或任何合适的方式包装每个资源。