简单的问题:我读过的所有教程都向您展示了如何使用 ipython.parallel 或 multiprocessing 将并行计算的结果输出到列表(或最好是字典)。
您能否指出一个使用任一库将计算结果输出到共享 pandas 数据框的简单示例?
http://gouthamanbalaraman.com/blog/distributed-processing-pandas.html - 本教程向您展示了如何读取输入数据帧(下面的代码),但是我如何将 4 个并行计算的结果输出到一个数据帧?
import pandas as pd
import multiprocessing as mp
LARGE_FILE = "D:\\my_large_file.txt"
CHUNKSIZE = 100000 # processing 100,000 rows at a time
def process_frame(df):
# process data frame
return len(df)
if __name__ == '__main__':
reader = pd.read_table(LARGE_FILE, chunksize=CHUNKSIZE)
pool = mp.Pool(4) # use 4 processes
funclist = []
for df in reader:
# process each data frame
f = pool.apply_async(process_frame,[df])
funclist.append(f)
result = 0
for f in funclist:
result += f.get(timeout=10) # timeout in 10 seconds
print "There are %d rows of data"%(result)
请您参考如下方法:
您要求 multiprocessing(或其他 python 并行模块)输出到它们不直接输出到的数据结构。如果您使用 Pool,从任何并行包中,您最好得到一个列表(使用 map)或迭代器(使用 imap)。如果您使用来自 multiprocessing 的共享内存,您可能能够将结果放入一个内存块中,该内存块可以通过 ctypes 的指针访问。
那么接下来的问题是,您能否将结果从迭代器或共享内存块中提取到 pandas.DataFrame 中?我认为答案是肯定的。是的你可以。但是,我认为我没有在教程中看到这样做的简单示例……因为做起来并不那么简单。
迭代器路由似乎不太可能,因为您需要获取 numpy 来消化迭代器,而不是先将结果作为列表拉回到 python 中。我会选择共享内存路线。我认为这应该为您提供 DataFrame 的输出,然后您可以在 multiprocessing 中使用它:
from multiprocessing import sharedctypes as sh
from numpy import ctypeslib as ct
import pandas as pd
ra = sh.RawArray('i', 4)
arr = ct.as_array(ra)
arr.shape = (2,2)
x = pd.DataFrame(arr)
然后您所要做的就是将数组句柄传递给multiprocessing.Process:
import multiprocessing as mp
p1 = mp.Process(target=doit, args=(arr[:1, :], 1))
p2 = mp.Process(target=doit, args=(arr[1:, :], 2))
p1.start()
p2.start()
p1.join()
p2.join()
然后,通过一些指针魔法,结果应该填入您的 DataFrame .
我将让您编写 doit 函数来随意操作数组。
编辑:这看起来是一个使用类似方法的好答案……https://stackoverflow.com/a/22487898/2379433 .这似乎也有效:https://stackoverflow.com/a/27027632/2379433 .
