Skip to main content
 首页 » 编程设计

python multiprocessing 比正常速度慢之计算太琐碎

2024年10月24日13zhengyun_ustc

我对 python 中的并行处理没有太多经验。 我有一个脚本,它接收几个适合的文件,这些文件基本上是图像,将它们读入 3D numpy 数组并对其进行一些计算。 我想“最糟糕”的部分是,我有 2 个 for 循环,遍历数组的两个维度。在循环内,我基本上得到一个列表,其中包含给定 x 和 y 坐标处的 numpy 数组的第三维。然后我计算最大值,以及最大值位于哪个索引。然后,我将结果写入具有相同 x 和 y 坐标的两个新的二维数组。

对于尺寸约为 6000x6000x20 的适合文件,这可能需要几分钟才能完成。 然后我尝试让这个并行运行,因为每个 2D 视线都是相互独立的,因此可以在单独的过程中计算。

我看了一些调用多处理的基础教程,但是每次尝试,都需要 10 倍的时间...... 我在这里阅读了一些问题,多处理可能会有很多开销。有没有可能是overhead所需要的处理时间比流程中的实际计算长很多,所以才会慢很多?

谢谢。

这是我整理的示例脚本。

import numpy,time 
import multiprocessing as mp 
 
xs = 500 
data = numpy.random.rand(100,xs,xs) 
data2 = numpy.zeros(shape=(xs,xs)) 
 
def calculation(los): 
    maxindex = numpy.argmax(los) 
    return maxindex 
 
t0 = time.time() 
for x in range(xs): 
    for y in range(xs): 
        los = data[:,x,y] 
        data2[x,y]=calculation(los) 
t1 = time.time() 
print t1-t0 
 
t0 = time.time() 
pool = mp.Pool(processes=4) 
results = [pool.apply_async(calculation, args=(data[:,x,y],)) for x in range(xs) for y in range(xs)] 
t1 = time.time() 
 
print t1-t0 

第一个版本大约需要 1 秒,第二个版本在我的机器上需要 12 秒。

请您参考如下方法:

您可以发送批量数据,因为消息传递是代价高昂的部分:

import numpy,time 
import multiprocessing as mp 
 
xs = 500 
data = numpy.random.rand(100,xs,xs) 
data2 = numpy.zeros(shape=(xs,xs)) 
 
def calculation(los): 
    maxindex = numpy.argmax(los) 
    return maxindex 
 
def calculation_batch(los): 
    maxindex = [] 
    for l in los: 
        maxindex.append(umpy.argmax(los)) 
    return maxindex 
 
 
t0 = time.time() 
for x in range(xs): 
    for y in range(xs): 
        los = data[:,x,y] 
        data2[x,y]=calculation(los) 
t1 = time.time() 
print t1-t0 
 
t0 = time.time() 
pool = mp.Pool(processes=4) 
results = [pool.apply_async(calculation, args=(data[:,x:x+250,y:y+250],)) for x in [0, 250] for y in [0, 250]] 
t1 = time.time() 
 
print t1-t0 

这给了我:

0.787902832031 
0.846422195435