Skip to main content
 首页 » 编程设计

python之Pubsub 确认消息每 10 秒连续重新传送一次(Python 测试版客户端)

2025年02月15日7zengkefu

使用测试版 Google Pub/Sub 客户端 (v0.28.3)

有没有人见过相同的消息每 10 秒不断重新发送一次的情况,即使在确认之后也是如此?

这超出了 Pub/Sub 的至少一次性质。它偶尔会发生,但当它确实发生时,我们会连续几个小时看到相同的消息。

我怀疑这是因为我们在后台线程中处理来自订阅者的传入消息;但尚未能够始终如一地重现它。出于某种原因,这不是犹太洁食吗?

如果有错误,我们很乐意将其归档,但假设我们做错了什么。有没有人处理过类似的问题?


通过调试日志记录,我们会看到如下内容:

D 13:51:46.000 Received response: received_messages { ... message_id: "155264162517414" ... } 
D 13:51:46.000 New message received from Pub/Sub: %r 
I 13:51:46.000 Processing Message: 155264162517414  
I 13:51:48.000 Acking Message: 155264162517414  
D 13:51:48.000 Sending request: ack_ids: "LDR..." 
D 13:51:50.000 Snoozing lease management for 4.009431 seconds.  
D 13:51:50.000 Renewing lease for 0 ack IDs.  
D 13:51:50.000 The current p99 value is 10 seconds.  
... 
D 13:51:59.000 Received response: received_messages { ... message_id: "155264162517414" ... } 
D 13:51:59.000 New message received from Pub/Sub: %r 
I 13:51:59.000 Processing Message: 155264162517414  

这是一个玩具版本的代码,显示了我们如何进行线程处理,这有时会触发本地运行的问题:

import Queue 
import logging 
import threading 
import random 
import time 
from google.cloud import pubsub 
 
 
SUBSCRIPTION_PATH = ... 
 
 
class Worker(threading.Thread): 
    """Background thread to consume incoming messages.""" 
    def __init__(self, name): 
        threading.Thread.__init__(self, name=name) 
        self.queue = Queue.Queue() 
 
    def run(self): 
        while True: 
            message = self.queue.get() 
            self.process(message) 
            print '<< Acking :', message.message_id 
            message.ack() 
            self.queue.task_done() 
 
    def process(self, message): 
        """Fake some work by sleeping for 0-15s. """ 
        s = random.randint(0, 15) 
        print '>> Worker sleeping for ', s, message.message_id 
        for i in range(s): 
            time.sleep(1) 
            print i 
 
 
class Subscriber(threading.Thread): 
    """Handles the subscription to pubsub.""" 
    def __init__(self): 
        threading.Thread.__init__(self, name='Subscriber') 
        self.subscriber = pubsub.SubscriberClient() 
        self.worker = Worker('FakeWorker') 
        self.worker.daemon = True 
 
    def run(self): 
        self.worker.start() 
 
        flow_control = pubsub.types.FlowControl(max_messages=10) 
        policy = self.subscriber.subscribe(SUBSCRIPTION_PATH, 
           flow_control=flow_control, 
           callback=self._consume) 
        print 'Sub started, thread', threading.current_thread() 
 
    def _consume(self, message): 
        self.worker.queue.put(message) 
 
 
if __name__ == '__main__': 
    subscriber = Subscriber() 
    subscriber.start() 
    while 1: 
        pass 

谢谢!

请您参考如下方法:

除了 Pub/Sub 的至少一次性质外,Pub/Sub 中的确认是尽力而为。这意味着 ack 有两种可能“搞砸”的方式。

  1. 消息可以被 Pub/Sub 成功确认,并重新传送一次(可能是由于竞争条件)。
  2. 消息可能无法成功确认。

在出现第二种情况的情况下,客户端库不会给您任何类型的错误(因为客户端库本身没有给出错误),您将开始有节奏地看到消息(这将是如果您的处理时间很短,则为 10 秒)。

解决方法是在收到消息时再次确认消息。我假设(从玩具代码中不清楚,所以我猜)你只是忽略了重复消息,但如果你确认重复,你应该停止接收它。

如果您正在重新确认消息,请open an issue针对客户端库。