Skip to main content
 首页 » 编程设计

Python多处理大量数据

2025年05月04日11daizhj

我已经搜索了该站点,但不确定哪些术语会产生相关答案,如果这个问题多余,我深表歉意。

我需要处理一个非常非常大的矩阵 (14,000,000 * 250,000),并且想利用 Python 的多处理模块来加快处理速度。对于矩阵中的每一对列,我需要应用一个函数,然后将结果存储在专有类中。

我将实现一个双四循环,它提供必要的列组合。

我不想加载一个包含 250,000 个任务的池,因为我担心内存使用量会很大。理想情况下,我希望有一列然后在池中分配任务,即 进程 1 采用 A 列和 B 列,函数 F 采用 A、B 和 G,然后将结果存储在类 G[A,B] 中 过程 2 取 A 列和 C 列并进行类似的处理

进程永远不会访问 G 的相同元素。

所以我想每 N 个任务暂停 for 循环。 G 的设置/获取方法将被覆盖以执行一些后端任务。

我不明白的是是否有必要暂停循环?即 Python 是否足够聪明,只能处理它可以处理的内容?还是会填充大量任务?

最后,我不清楚结果如何。我只想将它们设置为 G 并且不返回任何内容。我不想担心 .get() 等,但根据我的理解,池方法返回一个结果对象。我可以忽略这个吗?

有没有更好的方法?我完全迷路了吗?

请您参考如下方法:

首先 - 您需要创建一个多处理池类。您设置所需的 worker 数量,然后使用 map 启动任务。我相信你已经知道了,但这里是 python multiprocessing文档。

您说您不想返回数据,因为您不需要,但您打算如何查看结果?每个任务都会将数据写入磁盘吗?要在您的进程之间传递数据,您需要使用类似 multiprocessing queue 的东西.

以下是链接中有关如何使用进程和队列的示例代码:

from multiprocessing import Process, Queue 
 
def f(q): 
    q.put([42, None, 'hello']) 
 
if __name__ == '__main__': 
    q = Queue() 
    p = Process(target=f, args=(q,)) 
    p.start() 
    print q.get()    # prints "[42, None, 'hello']" 
    p.join() 

这是使用池的示例:

from multiprocessing import Pool 
 
def f(x): 
    return x*x 
 
if __name__ == '__main__': 
    pool = Pool(processes=4)              # start 4 worker processes 
    result = pool.apply_async(f, [10])    # evaluate "f(10)" asynchronously 
    print result.get(timeout=1)           # prints "100" unless your computer is *very* slow 
    print pool.map(f, range(10))          # prints "[0, 1, 4,..., 81]" 

编辑:@goncalopp 提出了一个非常重要的观点,您可能不想在 python 中进行繁重的数值计算,因为它太慢了。 Numpy是进行数字运算的绝佳软件包。

如果你因为在每个进程上写入磁盘而受到严重的 IO 限制,你应该考虑运行类似 4*num_processors 的东西,这样你就总是有事可做。你还应该确保你有一个非常快的磁盘:)