Skip to main content
 首页 » 编程设计

python之python 中的多处理并不比顺序处理快——我尝试使用 Pool、Queue 和 Pipe。为什么

2025年02月15日7qlqwjy

我想使用 MIDO 库处理一些 MIDI 文件。在这个例子中,我想要做的就是从数据库中获取每个文件(150 个文件 - 现在只是一个文件夹)并使它成为一个 MIDI 对象。首先,我尝试使用 Threading 库(速度较慢)来执行此操作,但后来我发现它并没有实现真正的并行性,只是实现了并发性。之后,我尝试使用多处理库中的 Pool、Queue 和 Pipe,它们都比顺序的慢(12 秒对 10 秒)。我试图使 MIDO 库中的 IO 缓冲区更大,但这也不起作用。我有以下代码:

池

def try_p(name): 
    return mido.MidiFile(DATABASE_PATH + name) 
 
 
start = time.time() 
 
p = Pool(processes=4) 
for i in p.imap_unordered(try_p,  listdir(DATABASE_PATH), 4): 
    print i 
 
p.close() 
 
print 'Time elapsed: %s' % (time.time() - start)   

管道

def read_midi(ip, op): 
    files = op.recv() 
    res = [mido.MidiFile(DATABASE_PATH + f) for f in files] 
    op.send(res) 
    op.close() 
 
number_of_threads = 4 
songs = [] 
processes = [] 
pipes = [] 
ldir = listdir(DATABASE_PATH) 
files = list(chunks(ldir, len(ldir)/number_of_threads)) 
 
for i in range(number_of_threads): 
    pipe = Pipe() 
    pipes.append(pipe) 
    pipe[0].send(files[i]) 
 
    process = Process(target=read_midi, name="Fml" + str(i), args=pipe) 
    process.start() 
    processes.append(process) 
 
midis = [] 
 
for pipe in pipes: 
    midis.append(pipe[0].recv()) 
 
for process in processes: 
    process.join() 
 
print(len(midis))   

排队

def read_midi(files, queue): 
    res = [mido.MidiFile(DATABASE_PATH + f) for f in files] 
    queue.put(res) 
 
number_of_threads = 4 
songs = [] 
processes = [] 
input_queue = Queue() 
output_queue = Queue() 
ldir = listdir(DATABASE_PATH) 
files = list(chunks(ldir, len(ldir)/number_of_threads)) 
 
for i in range(number_of_threads): 
    process = Process(target=read_midi, name="Fml" + str(i), args=(files[i],     output_queue)) 
    process.start() 
    processes.append(process) 
 
midis = [] 
for i in range(number_of_threads): 
    midis.append(output_queue.get()) 
 
for process in processes: 
    process.join() 
 
print(len(midis))   

我该怎么做才能获得更好的性能?

编辑:我循环读取文件夹中的所有文件,读取持续约 0.006 秒 - 我认为它不受 IO 限制

请您参考如下方法:

据我所知,您没有对这些文件做任何事情,只是阅读它们。在这种情况下,您的进程可能受 I/O 限制,这意味着对磁盘/数据库的访问是限制因素。在这种情况下,使用多个进程只会增加一些通信开销。

不幸的是,只有当您的瓶颈实际上是处理时,使用多个进程才有帮助。

如果您使用的是数据库,将多个查询打包在一起可能会有所帮助,而不是对每个文件进行单个查询。