我最近创建了一个 python 脚本来执行一些自然语言处理任务，并且在解决我的问题方面效果很好。但是花了9个小时。我首先研究了使用 hadoop 将问题分解为多个步骤，并希望利用我通过使用 Amazon Web Services 获得的可扩展并行处理。
但是我的一位 friend 指出，Hadoop 确实是用于在磁盘上存储大量数据，您需要对其执行许多简单的操作。在我的情况下，我有一个相对较小的初始数据集(低 100 兆字节)，我对其执行许多复杂的操作，在此过程中占用大量内存，并花费很多时间。
我可以在我的脚本中使用什么框架来利用 AWS(或类似服务)上的可扩展集群？
请您参考如下方法:
Parallel Python是在集群中的多台机器上分发内容的一种选择。
