Skip to main content
 首页 » 编程设计

python之如何将 python 并行计算(ipython 并行或多处理)的结果输出到 pandas 数据帧

2024年10月25日23lvdongjie

简单的问题:我读过的所有教程都向您展示了如何使用 ipython.parallel 或 multiprocessing 将并行计算的结果输出到列表(或最好是字典)。

您能否指出一个使用任一库将计算结果输出到共享 pandas 数据框的简单示例?

http://gouthamanbalaraman.com/blog/distributed-processing-pandas.html - 本教程向您展示了如何读取输入数据帧(下面的代码),但是我如何将 4 个并行计算的结果输出到一个数据帧?

import pandas as pd 
import multiprocessing as mp 
 
LARGE_FILE = "D:\\my_large_file.txt" 
CHUNKSIZE = 100000 # processing 100,000 rows at a time 
 
def process_frame(df): 
        # process data frame 
        return len(df) 
 
if __name__ == '__main__': 
        reader = pd.read_table(LARGE_FILE, chunksize=CHUNKSIZE) 
        pool = mp.Pool(4) # use 4 processes 
 
        funclist = [] 
        for df in reader: 
                # process each data frame 
                f = pool.apply_async(process_frame,[df]) 
                funclist.append(f) 
 
        result = 0 
        for f in funclist: 
                result += f.get(timeout=10) # timeout in 10 seconds 
 
        print "There are %d rows of data"%(result) 

请您参考如下方法:

您要求 multiprocessing(或其他 python 并行模块)输出到它们不直接输出到的数据结构。如果您使用 Pool,从任何并行包中,您最好得到一个列表(使用 map)或迭代器(使用 imap)。如果您使用来自 multiprocessing 的共享内存,您可能能够将结果放入一个内存块中,该内存块可以通过 ctypes 的指针访问。

那么接下来的问题是,您能否将结果从迭代器或共享内存块中提取到 pandas.DataFrame 中?我认为答案是肯定的。是的你可以。但是,我认为我没有在教程中看到这样做的简单示例……因为做起来并不那么简单。

迭代器路由似乎不太可能,因为您需要获取 numpy 来消化迭代器,而不是先将结果作为列表拉回到 python 中。我会选择共享内存路线。我认为这应该为您提供 DataFrame 的输出,然后您可以在 multiprocessing 中使用它:

from multiprocessing import sharedctypes as sh 
from numpy import ctypeslib as ct         
import pandas as pd 
 
ra = sh.RawArray('i', 4) 
arr = ct.as_array(ra) 
arr.shape = (2,2) 
x = pd.DataFrame(arr) 

然后您所要做的就是将数组句柄传递给multiprocessing.Process:

import multiprocessing as mp 
p1 = mp.Process(target=doit, args=(arr[:1, :], 1)) 
p2 = mp.Process(target=doit, args=(arr[1:, :], 2)) 
p1.start() 
p2.start() 
p1.join() 
p2.join() 

然后,通过一些指针魔法,结果应该填入您的 DataFrame .

我将让您编写 doit 函数来随意操作数组。

编辑:这看起来是一个使用类似方法的好答案……https://stackoverflow.com/a/22487898/2379433 .这似乎也有效:https://stackoverflow.com/a/27027632/2379433 .