我已经搜索了该站点,但不确定哪些术语会产生相关答案,如果这个问题多余,我深表歉意。
我需要处理一个非常非常大的矩阵 (14,000,000 * 250,000),并且想利用 Python 的多处理模块来加快处理速度。对于矩阵中的每一对列,我需要应用一个函数,然后将结果存储在专有类中。
我将实现一个双四循环,它提供必要的列组合。
我不想加载一个包含 250,000 个任务的池,因为我担心内存使用量会很大。理想情况下,我希望有一列然后在池中分配任务,即 进程 1 采用 A 列和 B 列,函数 F 采用 A、B 和 G,然后将结果存储在类 G[A,B] 中 过程 2 取 A 列和 C 列并进行类似的处理
进程永远不会访问 G 的相同元素。
所以我想每 N 个任务暂停 for 循环。 G 的设置/获取方法将被覆盖以执行一些后端任务。
我不明白的是是否有必要暂停循环?即 Python 是否足够聪明,只能处理它可以处理的内容?还是会填充大量任务?
最后,我不清楚结果如何。我只想将它们设置为 G 并且不返回任何内容。我不想担心 .get() 等,但根据我的理解,池方法返回一个结果对象。我可以忽略这个吗?
有没有更好的方法?我完全迷路了吗?
请您参考如下方法:
首先 - 您需要创建一个多处理池类。您设置所需的 worker 数量,然后使用 map 启动任务。我相信你已经知道了,但这里是 python multiprocessing文档。
您说您不想返回数据,因为您不需要,但您打算如何查看结果?每个任务都会将数据写入磁盘吗?要在您的进程之间传递数据,您需要使用类似 multiprocessing queue 的东西.
以下是链接中有关如何使用进程和队列的示例代码:
from multiprocessing import Process, Queue
def f(q):
q.put([42, None, 'hello'])
if __name__ == '__main__':
q = Queue()
p = Process(target=f, args=(q,))
p.start()
print q.get() # prints "[42, None, 'hello']"
p.join()
这是使用池的示例:
from multiprocessing import Pool
def f(x):
return x*x
if __name__ == '__main__':
pool = Pool(processes=4) # start 4 worker processes
result = pool.apply_async(f, [10]) # evaluate "f(10)" asynchronously
print result.get(timeout=1) # prints "100" unless your computer is *very* slow
print pool.map(f, range(10)) # prints "[0, 1, 4,..., 81]"
编辑:@goncalopp 提出了一个非常重要的观点,您可能不想在 python 中进行繁重的数值计算,因为它太慢了。 Numpy是进行数字运算的绝佳软件包。
如果你因为在每个进程上写入磁盘而受到严重的 IO 限制,你应该考虑运行类似 4*num_processors 的东西,这样你就总是有事可做。你还应该确保你有一个非常快的磁盘:)
