Skip to main content
 首页 » 编程设计

python之如何知道 ZeroMQ 套接字是否准备就绪

2025年02月15日7webabcd

我有一个简单的PUSH/PULL Python 中的 ZeroMQ 代码。它看起来像下面。

  def zmqtest(self): 
 
     print('zmq') 
     Process(target=start_consumer, args=('1', 9999)).start() 
     Process(target=start_consumer, args=('2', 9999)).start() 
 
     ctx = zmq.Context() 
     socket = ctx.socket(zmq.PUSH) 
     socket.bind('tcp://127.0.0.1:9999') 
     # sleep(.5) # I have to wait here... 
 
     for i in range(5): 
        socket.send_unicode('{}'.format(i)) 

问题是我必须等待超过 .5 发送消息前一秒,否则只有一个消费者进程可以接收消息。如果我等待超过 0.5 秒,一切看起来都很好。

我想套接字绑定(bind)需要一段时间才能稳定下来,并且它是异步完成的。

我想知道是否有更可靠的方法可以知道套接字何时准备就绪。

请您参考如下方法:

当然这需要一段时间。当然它是异步完成的。

让我们首先破坏一下术语。

ZeroMQ 是一个很棒的框架。每个分布式系统的客户端,愿意使用它(除了只使用 inproc:// 传输类), 首先实例化 异步数据泵引擎 .. Context() 实例,根据需要。

每个 Scalable Formal Communication Pattern { PUSH | PULL | ... | XSUB | SUB | PAIR } 确实 而不是 创建一个套接字,
但
而是实例化一个 接入点 ,稍后可能会 .connect() 或 .bind() 到某个交易对手(在某些 Context() 实例中,另一个合适类型的接入点,无论是本地还是非本地(同样,本地 inproc:// 基础设施是此规则的已知异常(exception)))。

从这个意义上说,回答“ 套接字何时准备好?”这个问题需要“跨”分布式系统进行端到端调查,处理所有参与 套接字 行为的元素执行。

测试“本地”终端接入点 RTO 状态:

为此,当本地端 PULL 实例达到 RTO 状态 + Context() - 创建 O/S L3+ 接口(interface)开始分发预期代理的 - .bind() -ed 消息。

测试“远程”代理的 RTO 状态:

这部分可以进行间接或显式测试。间接方式可以使用消息嵌入索引。它可以包含一个提升数字(一个序数),它包含关于订单的弱信息。鉴于 PUSH 端消息路由策略是循环,本地代理可以确定,直到它是本地的 PUSH 接入点接收所有指示连续序列的消息,没有其他“远程” - PULL - 处于 RTO 状态的代理。一旦“本地” PULL -access-point 在序数流中接收到“间隙”,这意味着(当然,只有在所有 PULL 的 PUSH -s 设置正确的情况下)还有另一个 - 非本地 -- .setsockopt() - 处于 RTO 状态的代理。

这有用吗?

可能是可能不是。重点是更好地理解任何分布式系统必须以某种方式应对的新挑战。

多阶段消息队列的本质,多层实现(local-PULL-agent's-code,local-PUSH-thread(s),local-O/S,local-kernel,LAN/WAN,remote-kernel,remote- O/S、远程 Context() -thread(s)、remote- Context() -agent's-code 仅举几例)和多代理行为只是引入了许多地方,其中操作可能会在其他一些地方获得延迟/阻塞/死锁/失败方式。

是的,在野外散步。

尽管如此,人们可能会选择使用更丰富、更明确的信号(除了最初认为的只是原始数据传输)并帮助解决多智能体世界中特定于上下文的、信号 RTO 感知的行为,这可能会更好反射(reflect)实际情况,并解决开始出现在分布式系统的非单一世界中的其他问题。

显式信号是一种应对方法。

微调 ZeroMQ 基础架构。忘记使用默认值。总是!

最近的 API 版本开始添加更多选项来针对特定用例微调 ZeroMQ 行为。请务必仔细阅读可用于设置 PULL -instance 的所有详细信息,以调整套接字实例访问点的行为,使其最符合您的分布式系统信令 + 传输需求:

.setsockopt( ZMQ_LINGER,     0 )         # always, indeed ALWAYS 
.setsockopt( ZMQ_SNDBUF,    .. )         # always, additional O/S + kernel rules apply ( read more about proper sizing ) 
.setsockopt( ZMQ_SNDHWM,    .. )         # always, problem-specific data-engineered sizing 
.setsockopt( ZMQ_TOS,       .. )         # always, indeed ALWAYS for critical systems 
.setsockopt( ZMQ_IMMEDIATE, .. )         # prevents "loosing" messages pumped into incomplete connections 

还有很多。没有这些,设计将继续被钉在现实世界交易丛林中的棺材里。