我有一个简单的 python 脚本,它使用 Google pubsub 来检测 Google 云存储中的新文件。该脚本只是将新消息添加到另一个线程处理这些消息的队列中:
subscriber = pubsub.SubscriberClient()
subscription_path = subscriber.subscription_path(
project, subscription_name)
subscriber.subscribe(subscription_path, callback=callback_fun)
while True:
if not message_queue:
time.sleep(60)
continue
else:
process_next_message(message_queue.pop())
在这里,callback_fun 只是将消息添加到队列中:
def callback_fun(message):
message.ack()
message_queue.append(message)
我遇到的问题是一段时间后(可能是几天),订阅者停止接收新文件通知。如果我停止并重新启动脚本,它会立即收到所有通知。
我想知道是否还有其他人遇到类似问题和/或可以建议解决问题的方法(可能通过打印通常看不到的调试消息)。我现在正在尝试停止/重新启动订阅者,但我确信这不是在生产环境中使用的最佳主意。
我正在使用 google-cloud 0.32.0 和 google-cloud-pubsub 0.30.1。
请您参考如下方法:
一般来说,订阅者停止接收消息的原因可能有多种:
- 如果订阅者不确认或拒绝消息,则可以达到流量控制限制,这意味着无法传递更多消息。鉴于您立即确认消息,在您的特定实例中似乎并非如此。顺便说一句,我建议不要在您的队列处理消息之前确认消息,除非您可以接受消息未被处理的可能性。否则,如果您的应用程序在 ack 之后崩溃,但在消息队列处理它们之前,您将没有处理该消息,并且不会在它被 ack 后重新传送它。
- 如果另一个订阅者启动相同的订阅,它可能正在接收消息。在这种情况下,人们会期望订阅者收到消息的子集,而不是根本没有消息。
- 发布者只是停止发布消息,因此没有消息可接收。如果您重新启动订阅者并且它再次开始接收消息,则情况可能并非如此。您还可以通过查看 subscription/backlog_bytes 的 Stackdriver 指标来验证是否正在建立积压。
如果您的问题不属于这些类别之一,最好使用您的项目名称、主题名称和订阅名称联系 Google Cloud 支持,以便他们可以将问题缩小到您的用户代码、客户端库或服务。
