使用测试版 Google Pub/Sub 客户端 (v0.28.3)
有没有人见过相同的消息每 10 秒不断重新发送一次的情况,即使在确认之后也是如此?
这超出了 Pub/Sub 的至少一次性质。它偶尔会发生,但当它确实发生时,我们会连续几个小时看到相同的消息。
我怀疑这是因为我们在后台线程中处理来自订阅者的传入消息;但尚未能够始终如一地重现它。出于某种原因,这不是犹太洁食吗?
如果有错误,我们很乐意将其归档,但假设我们做错了什么。有没有人处理过类似的问题?
通过调试日志记录,我们会看到如下内容:
D 13:51:46.000 Received response: received_messages { ... message_id: "155264162517414" ... }
D 13:51:46.000 New message received from Pub/Sub: %r
I 13:51:46.000 Processing Message: 155264162517414
I 13:51:48.000 Acking Message: 155264162517414
D 13:51:48.000 Sending request: ack_ids: "LDR..."
D 13:51:50.000 Snoozing lease management for 4.009431 seconds.
D 13:51:50.000 Renewing lease for 0 ack IDs.
D 13:51:50.000 The current p99 value is 10 seconds.
...
D 13:51:59.000 Received response: received_messages { ... message_id: "155264162517414" ... }
D 13:51:59.000 New message received from Pub/Sub: %r
I 13:51:59.000 Processing Message: 155264162517414
这是一个玩具版本的代码,显示了我们如何进行线程处理,这有时会触发本地运行的问题:
import Queue
import logging
import threading
import random
import time
from google.cloud import pubsub
SUBSCRIPTION_PATH = ...
class Worker(threading.Thread):
"""Background thread to consume incoming messages."""
def __init__(self, name):
threading.Thread.__init__(self, name=name)
self.queue = Queue.Queue()
def run(self):
while True:
message = self.queue.get()
self.process(message)
print '<< Acking :', message.message_id
message.ack()
self.queue.task_done()
def process(self, message):
"""Fake some work by sleeping for 0-15s. """
s = random.randint(0, 15)
print '>> Worker sleeping for ', s, message.message_id
for i in range(s):
time.sleep(1)
print i
class Subscriber(threading.Thread):
"""Handles the subscription to pubsub."""
def __init__(self):
threading.Thread.__init__(self, name='Subscriber')
self.subscriber = pubsub.SubscriberClient()
self.worker = Worker('FakeWorker')
self.worker.daemon = True
def run(self):
self.worker.start()
flow_control = pubsub.types.FlowControl(max_messages=10)
policy = self.subscriber.subscribe(SUBSCRIPTION_PATH,
flow_control=flow_control,
callback=self._consume)
print 'Sub started, thread', threading.current_thread()
def _consume(self, message):
self.worker.queue.put(message)
if __name__ == '__main__':
subscriber = Subscriber()
subscriber.start()
while 1:
pass
谢谢!
请您参考如下方法:
除了 Pub/Sub 的至少一次性质外,Pub/Sub 中的确认是尽力而为。这意味着 ack 有两种可能“搞砸”的方式。
- 消息可以被 Pub/Sub 成功确认,并重新传送一次(可能是由于竞争条件)。
- 消息可能无法成功确认。
在出现第二种情况的情况下,客户端库不会给您任何类型的错误(因为客户端库本身没有给出错误),您将开始有节奏地看到消息(这将是如果您的处理时间很短,则为 10 秒)。
解决方法是在收到消息时再次确认消息。我假设(从玩具代码中不清楚,所以我猜)你只是忽略了重复消息,但如果你确认重复,你应该停止接收它。
如果您正在重新确认消息,请open an issue针对客户端库。
