Skip to main content
 首页 » 编程设计

python之如何将异步操作映射到有序数据流并获得相同顺序的结果

2024年10月25日10lyj

我目前正在使用 Twisted 框架设计一个应用程序,我在计划中遇到了一些障碍。

问题的正式描述

我的应用程序有以下限制:

  1. 数据按顺序到达,但异步。我不知道下一条数据何时到达
  2. 数据到达的顺序必须在应用程序流程的整个生命周期内保持不变。
  3. 必须将其他异步 操作映射到该数据“流”。

我的问题的描述可能会让人们想起功能响应式(Reactive)编程 (FRP) 范式,这是一个公平的比较。事实上,我认为我的问题已经用这些术语进行了很好的描述,并且我的问题可以非常准确地概括为:“我如何利用 Twisted 来根据数据流进行推理?”

更具体地说,这是我发现的:

  1. 数据到达并解压到自定义类的实例中,此后称为“数据实例”
  2. 新到达的数据实例附加到 collections.deque 对象,由自定义 Stream 类封装。
  3. Stream 类公开了诸如 Stream.map 之类的方法,这些方法将非阻塞计算异步应用于:

    1. Stream 实例的双端队列中已经存在的所有元素。
    2. 所有 future 的元素,当它们到达时。
  4. 第 3 项中执行的操作的结果附加到新 Stream 对象。这是因为保留原始数据很重要,因为通常需要将多个可调用对象映射到给定流。

冒着打死马的风险,我想坚持这样一个事实,即映射到 Stream 实例的计算应该返回 Deferred 的实例。

问题

顺便说一句,这正是我遇到的问题:我可以非常简单地实现第 1、2 和 3 项,但我正在努力解决如何处理填充结果 Stream 的问题。困难源于我无法保证流长度,因此在等待某些异步操作完成时数据完全有可能到达。异步操作 Oi 也完全有可能在 Oi + n 之后完成,所以我不能只需添加 deque.append 作为回调即可。

那么我该如何解决这个问题呢? Twisted 是否有一些我尚未发现的漂亮、隐藏的功能?是否有任何狡猾的开发人员有我可以应用的想法或模式?

请您参考如下方法:

我不知道有什么巧妙的技巧可以帮助您解决这个问题。我认为您可能只需要在您的 Stream.map 实现中实现重新排序(或顺序维护,取决于您如何看待它)逻辑。

如果操作 i + 1 在操作 i 之前完成,则 Stream.map 可能只需要保留该结果,直到操作 i 完成。然后它可以将结果 i 和 i + 1 添加到输出 Stream。

这表明您可能还想支持对输入的背压。重新排序要求意味着您的应用程序中有一个额外的缓冲区。您不想让该缓冲区无限制地增长,因此当它达到某个最大大小时,您可能想告诉向您发送输入的任何人您无法跟上,他们应该退缩。 Twisted 中的 IProducer 和 IConsumer 接口(interface)是现在执行此操作的标准方法(尽管名为“tubes”的东西已经开发了一段时间以用更简单的东西替换这些接口(interface)使用 - 但我不建议你对此屏住呼吸)。