Skip to main content
 首页 » 编程设计

Python 多处理需要更多时间

2025年05月04日36jackei

我的服务器有 12 个内核和 28GB 内存。我正在运行两个版本的 Python;一个具有多处理功能,另一个具有顺序功能。我希望 Multiprocessing.py 比 Sequential.py 更早完成,但与顺序代码(25 秒)相比,多处理代码需要多 5 倍(120 秒)

多处理.py

import os,multiprocessing,time 
def cube(x): 
    print(x**3) 
    return 
if __name__ == '__main__': 
    jobs = [] 
    start = time.time() 
    for i in range(5000): 
        p = multiprocessing.Process(target=cube(i)) 
        jobs.append(p) 
        p.start() 
    end = time.time() 
    print end - start 

顺序.py

import os,time 
def cube(x): 
    print(x**3) 
    return 
if __name__ == '__main__': 
    start = time.time() 
    for i in range(5000): 
        cube(i) 
    end = time.time() 
    print end - start 

你能帮忙吗?

请您参考如下方法:

问题是相对于 IPC 通信开销而言,完成的工作太少。

cube 函数不是多处理加速的理想选择。尝试一些“更有趣”的东西,比如计算 1 到 n 的立方之和的函数或类似的函数:

import os, multiprocessing, time 
 
def sum_of_cubes(n): 
    return sum(x**3 for x in range(n)) 
 
if __name__ == '__main__': 
 
    from multiprocessing.pool import ThreadPool as Pool 
 
    pool = Pool(25) 
 
    start = time.time() 
    print(pool.map(sum_of_cubes, range(1000, 100000, 1000))) 
    end = time.time() 
    print(end - start) 

一般规则是:

  • 不要启动超过您的核心可以从中受益的池
  • 不要传入大量数据或返回大量数据(IPC负载过大)
  • 在此过程中做与 IPC 开销相关的重要工作。