我想使用 MIDO 库处理一些 MIDI 文件。在这个例子中,我想要做的就是从数据库中获取每个文件(150 个文件 - 现在只是一个文件夹)并使它成为一个 MIDI 对象。首先,我尝试使用 Threading 库(速度较慢)来执行此操作,但后来我发现它并没有实现真正的并行性,只是实现了并发性。之后,我尝试使用多处理库中的 Pool、Queue 和 Pipe,它们都比顺序的慢(12 秒对 10 秒)。我试图使 MIDO 库中的 IO 缓冲区更大,但这也不起作用。我有以下代码:
池
def try_p(name):
return mido.MidiFile(DATABASE_PATH + name)
start = time.time()
p = Pool(processes=4)
for i in p.imap_unordered(try_p, listdir(DATABASE_PATH), 4):
print i
p.close()
print 'Time elapsed: %s' % (time.time() - start)
管道
def read_midi(ip, op):
files = op.recv()
res = [mido.MidiFile(DATABASE_PATH + f) for f in files]
op.send(res)
op.close()
number_of_threads = 4
songs = []
processes = []
pipes = []
ldir = listdir(DATABASE_PATH)
files = list(chunks(ldir, len(ldir)/number_of_threads))
for i in range(number_of_threads):
pipe = Pipe()
pipes.append(pipe)
pipe[0].send(files[i])
process = Process(target=read_midi, name="Fml" + str(i), args=pipe)
process.start()
processes.append(process)
midis = []
for pipe in pipes:
midis.append(pipe[0].recv())
for process in processes:
process.join()
print(len(midis))
排队
def read_midi(files, queue):
res = [mido.MidiFile(DATABASE_PATH + f) for f in files]
queue.put(res)
number_of_threads = 4
songs = []
processes = []
input_queue = Queue()
output_queue = Queue()
ldir = listdir(DATABASE_PATH)
files = list(chunks(ldir, len(ldir)/number_of_threads))
for i in range(number_of_threads):
process = Process(target=read_midi, name="Fml" + str(i), args=(files[i], output_queue))
process.start()
processes.append(process)
midis = []
for i in range(number_of_threads):
midis.append(output_queue.get())
for process in processes:
process.join()
print(len(midis))
我该怎么做才能获得更好的性能?
编辑:我循环读取文件夹中的所有文件,读取持续约 0.006 秒 - 我认为它不受 IO 限制
请您参考如下方法:
据我所知,您没有对这些文件做任何事情,只是阅读它们。在这种情况下,您的进程可能受 I/O 限制,这意味着对磁盘/数据库的访问是限制因素。在这种情况下,使用多个进程只会增加一些通信开销。
不幸的是,只有当您的瓶颈实际上是处理时,使用多个进程才有帮助。
如果您使用的是数据库,将多个查询打包在一起可能会有所帮助,而不是对每个文件进行单个查询。
