TL;DR:我有一段制作精美、持续运行的 Python 代码,用于控制和读取物理实验。现在我想添加一个 HTTP API。
我已经编写了一个使用 USB 控制硬件的模块。我可以编写多种类型的自主操作实验的脚本,但我想通过 Internet 控制我正在运行的实验。我喜欢 HTTP API 的想法,并且已经使用 Flask 的开发服务器实现了概念验证。
实验作为单个进程运行,要求 USB 连接并定期(每 16 毫秒)读取所有数据。该进程可以写入硬件设置和命令,读取数据和命令响应。
我在选择“正确”方式与此过程进行通信时遇到了一些问题。如果 HTTP 服务器只有一个 worker,它就可以工作。然后,我可以使用 python 的 multiprocessing.Pipe 进行通信。使用或多或少的低级套接字(或类似zeromq的东西)应该可以工作,即使对于请求/响应也是如此,但我必须实现某种协议(protocol):发送{'cmd':'set_voltage','value':900 } 而不是调用 hardware.set_voltage(800) (我可以在独立脚本中使用它)。我可以使用某种 RPC,但据我所知,它们(SimpleXMLRPCServer、Pyro)都对“服务器”使用某种事件循环,在本例中是运行实验的进程,以处理请求。但是我不能让事件循环等待传入的请求;它应该读出我的硬件!我在谷歌上搜索了很多,但无论我如何尝试重新表述我的问题,我最终以 Celery 作为答案,它主要是一个接一个地触发一个作业,但并不是真正与一个长期运行的进程进行通信。
我很困惑。我可以让它工作,但我担心我会重新发明一些轮子。我只想在终端中启动我的应用程序,从任何地方打开网络浏览器,并监视和控制我的实验。
更新:以下代码是使用该模块的基本示例:
from pysparc.muonlab.muonlab_ii import MuonlabII
muonlab = MuonlabII()
muonlab.select_lifetime_measurement()
muonlab.set_pmt1_voltage(900)
muonlab.set_pmt1_threshold(500)
lifetimes = []
while True:
data = muonlab.read_lifetime_data()
if data:
print "Muon decays detected with lifetimes", data
lifetimes.extend(data)
模块位于 https://github.com/HiSPARC/pysparc/tree/master/pysparc/muonlab . 我当前的 HTTP API 实现位于 https://github.com/HiSPARC/pysparc/blob/master/bin/muonlab_with_http_api。 .
我对这个模块非常满意(有很多测试)但是 HTTP API 使用 Flask 的单线程开发服务器运行(文档和互联网告诉我这是个坏主意)并通过管道传递字典某种IPC。我希望能够在上面的脚本中做这样的事情:
while True:
data = muonlab.read_lifetime_data()
if data:
print "Muon decays detected with lifetimes", data
lifetimes.extend(data)
process_remote_requests()
其中 process_remote_requests 是一个相当短的函数,用于调用 muonlab 实例或返回数据。然后,在我的 Flask View 中,我会有类似的东西:
muonlab = RemoteMuonlab()
@app.route('/pmt1_voltage', methods=['GET', 'PUT'])
def get_data():
if request.method == 'PUT':
voltage = request.form['voltage']
muonlab.set_pmt1_voltage(voltage)
else:
voltage = muonlab.get_pmt1_voltage()
return jsonify(voltage=voltage)
从应用程序获取测量数据可能不是什么问题,因为我可以将其存储在 SQLite 或其他处理并发访问的东西中。
请您参考如下方法:
但是...您确实有一个 IO 循环;它每 16 毫秒运行一次。
在这种情况下,您可以使用 BaseHTTPServer.HTTPServer;只需将 timeout 属性设置为较小的值即可。基本上...
class XmlRPCApi:
def do_something(self):
print "doing something"
server = SimpleXMLRPCServer(("localhost", 8000))
server.register_instance(XMLRpcAPI())
server.timeout = 0
while True:
sleep(0.016)
do_normal_thing()
x.handle_request()
编辑:python 有一个内置服务器,也建立在 BaseHTTPServer 上,能够为 flask 应用程序提供服务。由于 flask.Flask() 恰好是一个 wsgi 兼容的应用程序,您的 process_remote_requests() 应该如下所示:
import wsgiref.simple_server
remote_server = wsgire.simple_server('localhost', 8000, app)
# app here is just your Flask() application!
# as before, set timeout to zero so that you can go right back
# to your event loop if there are no requests to handle
remote_server.timeout = 0
def process_remote_requests():
remote_server.handle_request()
如果您只有短期运行的请求,这就足够了;但是,如果您需要处理的请求可能比事件循环的正常轮询间隔时间更长,或者如果您需要处理的请求多于每单位时间的轮询,那么您就不能使用这种方法。
不过,您不一定需要 fork 另一个进程,您可以通过在另一个线程中使用工作池来实现。大致:
import threading
import wsgiref.simple_server
remote_server = wsgire.simple_server('localhost', 8000, app)
POOL_SIZE = 10 # or some other value.
pool = [threading.Thread(target=remote_server.serve_forever) for dummy in xrange(POOL_SIZE)]
for thread in pool:
thread.daemon = True
thread.start()
while True:
pass # normal experiment processing here; don't handle requests in this thread.
但是;这种方法有一个主要缺点,您现在必须处理并发!像使用上述循环那样自由地操作程序状态是不安全的,因为您可能会同时在主线程(或另一个 http 服务器线程)中操作相同的状态。由您决定何时有效,用某种互斥锁或任何合适的方式包装每个资源。
