我有一个简单的PUSH/PULL Python 中的 ZeroMQ 代码。它看起来像下面。
def zmqtest(self):
print('zmq')
Process(target=start_consumer, args=('1', 9999)).start()
Process(target=start_consumer, args=('2', 9999)).start()
ctx = zmq.Context()
socket = ctx.socket(zmq.PUSH)
socket.bind('tcp://127.0.0.1:9999')
# sleep(.5) # I have to wait here...
for i in range(5):
socket.send_unicode('{}'.format(i))
问题是我必须等待超过 .5 发送消息前一秒,否则只有一个消费者进程可以接收消息。如果我等待超过 0.5 秒,一切看起来都很好。
我想套接字绑定(bind)需要一段时间才能稳定下来,并且它是异步完成的。
我想知道是否有更可靠的方法可以知道套接字何时准备就绪。
请您参考如下方法:
当然这需要一段时间。当然它是异步完成的。
让我们首先破坏一下术语。
ZeroMQ 是一个很棒的框架。每个分布式系统的客户端,愿意使用它(除了只使用 inproc:// 传输类), 首先实例化 异步数据泵引擎 .. Context() 实例,根据需要。
每个 Scalable Formal Communication Pattern { PUSH | PULL | ... | XSUB | SUB | PAIR } 确实 而不是 创建一个套接字,
但
而是实例化一个 接入点 ,稍后可能会 .connect() 或 .bind() 到某个交易对手(在某些 Context() 实例中,另一个合适类型的接入点,无论是本地还是非本地(同样,本地 inproc:// 基础设施是此规则的已知异常(exception)))。
从这个意义上说,回答“ 套接字何时准备好?”这个问题需要“跨”分布式系统进行端到端调查,处理所有参与 套接字 行为的元素执行。
测试“本地”终端接入点 RTO 状态:
为此,当本地端 PULL 实例达到 RTO 状态 + Context() - 创建 O/S L3+ 接口(interface)开始分发预期代理的 - .bind() -ed 消息。
测试“远程”代理的 RTO 状态:
这部分可以进行间接或显式测试。间接方式可以使用消息嵌入索引。它可以包含一个提升数字(一个序数),它包含关于订单的弱信息。鉴于 PUSH 端消息路由策略是循环,本地代理可以确定,直到它是本地的 PUSH 接入点接收所有指示连续序列的消息,没有其他“远程” - PULL - 处于 RTO 状态的代理。一旦“本地” PULL -access-point 在序数流中接收到“间隙”,这意味着(当然,只有在所有 PULL 的 PUSH -s 设置正确的情况下)还有另一个 - 非本地 -- .setsockopt() - 处于 RTO 状态的代理。
这有用吗?
可能是可能不是。重点是更好地理解任何分布式系统必须以某种方式应对的新挑战。
多阶段消息队列的本质,多层实现(local-PULL-agent's-code,local-PUSH-thread(s),local-O/S,local-kernel,LAN/WAN,remote-kernel,remote- O/S、远程 Context() -thread(s)、remote- Context() -agent's-code 仅举几例)和多代理行为只是引入了许多地方,其中操作可能会在其他一些地方获得延迟/阻塞/死锁/失败方式。
是的,在野外散步。
尽管如此,人们可能会选择使用更丰富、更明确的信号(除了最初认为的只是原始数据传输)并帮助解决多智能体世界中特定于上下文的、信号 RTO 感知的行为,这可能会更好反射(reflect)实际情况,并解决开始出现在分布式系统的非单一世界中的其他问题。
显式信号是一种应对方法。
微调 ZeroMQ 基础架构。忘记使用默认值。总是!
最近的 API 版本开始添加更多选项来针对特定用例微调 ZeroMQ 行为。请务必仔细阅读可用于设置 PULL -instance 的所有详细信息,以调整套接字实例访问点的行为,使其最符合您的分布式系统信令 + 传输需求:
.setsockopt( ZMQ_LINGER, 0 ) # always, indeed ALWAYS
.setsockopt( ZMQ_SNDBUF, .. ) # always, additional O/S + kernel rules apply ( read more about proper sizing )
.setsockopt( ZMQ_SNDHWM, .. ) # always, problem-specific data-engineered sizing
.setsockopt( ZMQ_TOS, .. ) # always, indeed ALWAYS for critical systems
.setsockopt( ZMQ_IMMEDIATE, .. ) # prevents "loosing" messages pumped into incomplete connections
还有很多。没有这些,设计将继续被钉在现实世界交易丛林中的棺材里。
