Skip to main content
 首页 » 编程设计

python之在 Google App Engine 中管理长时间运行的任务

2025年05月04日22cloudgamer

我正在 Google App Engine (Python) 上运行一个实验性应用程序,它由一个 API 和一个执行一些长时间运行任务的 Worker 组成。

API 是一个带有云端点的标准模块,Worker 是一个 ManagedVM 模块。

用户在数据库上创建一个任务,并将其作为任务放在拉取队列中。 Worker 拉取该任务并通过延长租约无限地执行它。 Worker 还将在数据库上设置任务的状态(例如“正在运行”或“错误”)。

目标是永远执行任务,直到用户再次停止它。我通过将状态设置为“停止”并调用 Worker 上的处理程序来停止任务(workerUrl 保存到任务模型)来实现这一点。然后 Worker 会将状态设置为“已停止”并删除它租用的任务。

到目前为止,这还存在一些小问题(例如,将任务放置两次)。但我想知道是否有更好的方法来应对这一挑战?基本上,问题是如何将远程工作人员执行与数据库模型同步。

我也确实有问题,如果我停止应用程序,任务应该根据它们的状态放回队列中(可以有意停止)。在实时服务器上这不是什么大问题,因为应用程序基本上从不停止,但在开发服务器上它是。也许这适合 cron 作业?

更新 1:

有关任务的信息实际上存储在数据库中。队列中的任务包含数据库中模型的 ID,请注意图片中的状态在 API 上更新。

Worker (MVM) 和 API 之间的通信通过 Cloud Endpoints 进行,为此我在 Worker 端使用 python 客户端。这工作相当可靠。

是的,为了避免重复的任务,我应该使用任务名称。我遇到的唯一问题是您不能在很长一段时间内重复使用相同的名称,因此我需要找出一些任务名称,可能包括时间戳。

我选择任务队列而不是某些仅数据库方法的原因是它附带的故障转移机制。由于我的 worker 可能会失败,因此另一名 worker 将接手这项任务。此外,它还减少了数据库调用和 API 调用。

我想我会在它自己的模型中重构“任务状态”以拥有一种命令模型。这也将作为任务的日志,因此可以看到在执行级别发生了什么。也许这与任务队列一起工作,如果不行,我会看看是否可以删除队列。

请您参考如下方法:

听起来您只是想让 Worker 和 API 前端共享存储,而您的解决方案是使用任务队列作为该存储。更好的方法是使用来自 Worker 的 Cloud Datastore 的 REST API。您仍然可以使用拉取队列来启动工作(并避免将同一任务出租给多个工作人员),但随后使用相应的数据存储记录在 API 前端和工作人员之间传达更新。例如,API 前端存储“停止”请求,然后 Worker 在运行时对其进行轮询。

请注意,App Engine 上的 API 前端可以在同一事务中提交到数据存储区和任务队列。这允许更强大的共享记录和任务设置。

至于避免重复任务,请考虑任务名称。您可以为任务分配名称,以防止创建两个具有相同名称的任务。

如果 GAE API 前端和托管 VM worker 后端共享数据存储,我不确定如何在开发过程中最好地设置它们。也许他们都需要使用数据存储 REST API 和特定于开发的项目,并且 API 前端需要一个“如果开发服务器使用 REST,否则使用 native 数据存储 API”包装器。 (如果有更好的方法,我会很高兴知道它。我对托管 VM 还是个新手。)对于你的问题,我将补充一点,开发服务器将在运行之间保留其自己的本地模拟数据存储,除非被告知不要这样做,这样可能有助于在运行之间保持工作人员状态。

我假设您将任务留在任务队列中并无限期延长租约的技术是为了让新工作人员接手中断的工作,同时仍然避免多个工作人员做同样的工作。对于无限任务,您最好基于数据存储构建类似的机制,并使用保持事件进程根据需要重新启动工作。我很难说这要好得多,但它可能会简化开发环境问题。