我正在使用 eventlet 并且有两个主进程在运行。其中一个进程充当生产者,另一个充当消费者。问题是我不想使用 eventlet 包中的队列,而是想使用数据库。 使用队列,我可以简单地传递 (block=True) 作为参数,eventlet 将负责阻止消费者例程的执行,直到生产者将某些东西放入队列。 如果我用 db 替换队列,我如何有效地实现阻塞逻辑。
请您参考如下方法:
有关背景,您可能希望阅读这篇维基百科文章:http://en.wikipedia.org/wiki/Inter-process_communication
我建议在这两个进程之间使用套接字连接。您可以通过这种方式轻松发送一些数据和唤醒信号。请注意,TCP 没有消息的概念(作为整体发送和传递的信息),因此您必须实现一个简单的协议(protocol)来实现这一点。我推荐 tnetstring [1]。另一种方法是使用 ZeroMQ,因为它提供消息。 Eventlet 对这两种方式都提供了出色的支持。
您可能需要生产者/消费者的事务作业语义,例如:任何数据要么完全由某个消费者处理,要么失败,需要重复尝试或人工关注。然后你真的必须使用某种带有事务的数据库。有现成的解决方案:Celery [2]、beanstalk [3]、pyres [4]。
- [1] https://pypi.python.org/pypi/tnetstring
- [2] http://celery.readthedocs.org/我不喜欢它是“任务队列的 django”[3],但它可以完成工作,如果您需要任务队列,它可能是最好的选择。在这种情况下,django 是不必要的复杂的同义词,无法专注于少数明确的问题,企业风格创造就业机会,因为学习该工具需要花费大量时间和精力。
- [3] http://beanstalkapp.com/
- [4] https://github.com/binarydud/pyres
