我有两台电脑,c1 和 c2。 c1是双核cpu,c2是四核cpu。所以我使用 6 个 worker 将这两台计算机与 celery 连接起来来完成一些任务。但是,当我在 c1 中与 6 个 worker 一起使用多处理时,似乎 celery 中的每个 worker 在多处理中都比较慢?这是为什么?那么 celery 相对于 multiprocessing 有什么优势呢?
例如:
我有这个功能:
def readFromHBase(inputData):
...
return data
我使用 celery 和 multiprocessing 从 100000 个样本中读取 1000 个文件。
在 celery 中,我设置了 6 个 worker 跨越两台计算机 c1 和 c2,如上所述。每个 worker 将读取 10 个文件,直到 1000 个文件全部获得。
在多处理中,我做了同样的事情,但只在 c1 中设置了 6 个工作线程池。每个 worker 将读取 10 个文件,直到 1000 个文件全部获得。
结果表明,多处理中的每个 worker 花费的时间都比 celery 少。这是怎么发生的?
请您参考如下方法:
Celery 有一个队列代理。多处理没有。 Celery 工作人员从中央队列、网络一(甚至在本地主机上)中提取任务。多处理使用 IPC。
当然,IPC 的开销比 socket 层少。
您要为扩展能力支付绩效费用。
