所以我尝试在 python 中做一些简单的图像分析,我有一个相关视频的 numpy 数组,它的形状为 (930, 256, 256),即分辨率为 256 的 930 帧256 像素。
我正在尝试并行进行种子像素相关,我的计算机有 12 个内核,因此我应该能够编写并行 for 循环并更快地获得结果。
这是我在寻找编写并行 for 循环的方法后想到的。但是,它比非并行版本慢得多!!
也许有人能告诉我更好的写法? (使用其他库!) 或者有人可以告诉我为什么它变慢了?
这是我想出的代码:
import numpy as np
from scipy.stats.stats import pearsonr
from joblib import Parallel, delayed
import multiprocessing
def corr(pixel, seed_pixel):
return pearsonr(pixel, seed_pixel)[0]
def get_correlation_map(seed_x, seed_y, frames):
seed_pixel = np.asarray(frames[:, seed_x, seed_y], dtype=np.float32)
# Reshape into time and space
frames = np.reshape(frames, (total_number_of_frames, width*height))
#correlation_map = []
#####################################
print 'Getting correlation...'
# The parallel version.
correlation_map = Parallel(n_jobs=12)(delayed(corr)(pixel, seed_pixel) for pixel in frames.T)
# Non parallel version
#correlation_map = []
#for i in range(frames.shape[-1]):
#correlation_map.append(pearsonr(frames[:, i], seed_pixel)[0])
#####################################
correlation_map = np.asarray(correlation_map, dtype=np.float32)
correlation_map = np.reshape(correlation_map, (width, height))
print np.shape(correlation_map)
return correlation_map
我所需要的只是一种并行化 for 循环的方法,该循环将按迭代顺序将其结果附加到列表中。所以我想同步可能是个问题!
请您参考如下方法:
您可能遇到了问题,因为传递给 Parallel 的参数很大并且都被序列化了。如果(我假设)personr 释放 GIL,您可以使用 backend="threading" 来避免这种情况。否则,您可能需要查看 numpy.memmap 并坚持使用 multiprocessor
correlation_map = Parallel(n_jobs=12, backend="threading")(delayed(corr)(pixel, seed_pixel) for pixel in frames.T)
