Skip to main content
 首页 » 编程设计

python之亚马逊 AWS之python 初学者

2025年05月04日9kuangbin

我有一个计算密集型程序正在执行我打算并行化的计算。它是用 python 编写的,我希望使用 multiprocess模块。我需要一些帮助来了解我需要做什么才能让一个程序从我的笔记本电脑上运行来控制整个过程。

就我可以使用的计算机而言,我有两种选择。一个是我可以从终端通过 ssh user@comp1.com 访问的计算机(不确定如何通过 python 访问它们)然后在那里运行实例,尽管我想要一种更编程的方式得到他们比那。看来如果我跑 a remote manager类型的应用程序它会工作吗?

我考虑的第二个选择是使用 AWS E2C 服务器。 (我认为这就是我所需要的)。我找到了boto我从未使用过,但似乎提供了一个接口(interface)来控制 AWS 系统。我觉得我需要一些东西来在 AWS 上实际分配工作,可能与选项 1 (?) 类似。我在这里有点一头雾水。

编辑:

为了让您了解它的并行化程度:

res = [] 
for param in Parameters: 
    res.append(FunctionA(param)) 
Parameters2 = FunctionB(res) 
res2 = [] 
for param in Parameters2: 
    res2.append(FunctionC(param)) 
return res, res2 

所以这两个循环基本上是我可以发送许多要并行运行的 param 值的地方,我知道如何重新组合它们以创建 res 只要我知道它们来自哪个param。然后我需要将它们全部组合在一起以获得 Parameters2,然后第二部分再次可并行化。

请您参考如下方法:

只有当您希望进程共享内存中的数据时,您才需要使用多进程模块。仅当出于性能考虑而绝对必须共享内存时,我才会推荐这种做法。 python 多进程应用程序编写和调试起来非常重要。

如果您正在做类似 distributed.net 或 seti@home 项目的事情,即使任务是计算密集型的,它们也被合理地隔离,您可以遵循以下过程。

  1. 创建一个主应用程序,将大型任务分解为较小的计算 block (假设任务可以分解,然后可以集中组合结果)。
  2. 创建将从服务器获取任务的 python 代码(可能作为一个文件或一些其他一次性通信以及关于该做什么的指令)并运行这些 python 进程的多个副本
  3. 这些python进程将相互独立工作,处理数据,然后将结果返回给主进程进行结果整理。

如果需要,您可以在 AWS 单核实例上运行这些流程,或者使用您的笔记本电脑运行尽可能多的副本,只要您有多余的核心即可。

编辑:基于更新的问题

因此您的主进程将创建文件(或其他一些数据结构),其中包含参数信息。与要处理的参数一样多的文件。此文件将存储在名为 needed-work 的共享文件夹中

每个 python worker(在 AWS 实例上)将查看所需的工作共享文件夹,寻找可用的文件来处理(或等待主进程将文件分配给它们的套接字)。

接受需要工作的文件的 python 进程将对其进行处理,并将结果存储在单独的共享文件夹中,并将参数作为文件结构的一部分。

主进程将查看工作完成文件夹中的文件,处理这些文件并生成组合响应

整个解决方案也可以作为套接字实现,工作人员将监听套接字以供主人分配工作给他们,主人将在套接字上等待工作人员提交响应。

基于文件的方法需要一种方法让工作人员确保他们接手的工作不会被其他工作人员接手。这可以通过为每个工作人员设置单独的工作文件夹来解决,主进程将决定何时需要为工作人员提供更多工作。

工作人员可以删除他们从工作文件夹中提取的文件,主进程可以监视文件夹何时为空并向其中添加更多工作文件。

如果您对此感到满意,使用套接字再次更优雅。