Skip to main content
 首页 » 编程设计

python之使用 python : saving objects of the "pooled" functions 进行多处理

2024年12月31日8soundcode

只是想知道一种方法来保存从我在多进程环境(python 3.5)中池化的函数中产生的对象。

池化代码(一个简单的例子):

import numpy as np 
 
vct_list = [0, 1] 
 
def f_to_pool(vector_list): 
    chosen_nmb = np.random.choice(vector_list) 
    status_ = True if chosen_nmb == 0 else False 
    return chosen_nmb * 4, status_ 
 
scenarios = range(100) 
 
numbers_processed = [] 
all_status = [] 
 
for _ in scenarios: 
    nmb_processed, status = f_to_pool(vct_list) 
    numbers_processed.append(nmb_processed) 
    all_status.append(status) 

而多处理框架是multiprocessing.Pool:

pool = multiprocessing.Pool(nmb_of_proc) 
results = pool.map(function, objects) 
pool.close() 

问题是,即使我可以异步运行并收集文档中所示的结果(https://docs.python.org/3.5/library/multiprocessing.html#using-a-pool-of-workers),该过程将保持不变,并且因为我正在使用这种技术来扩展我的计算能力(这不是 I/O 问题),那对我没有用。

有什么建议吗?

请您参考如下方法:

您的研究是正确的,您可以将两者结合起来:

import multiprocessing 
 
def your_time_consuming_function(i): 
    status = bool(i % 2) 
    return i * 4, status 
 
def run(scenarios_list): 
    with multiprocessing.Pool(4) as pool: 
        return pool.map(your_time_consuming_function, scenarios_list) 
 
scenarios = range(8) 
 
print(run(scenarios)) 

然后会产生这样的结果:

[(0, False), (4, True), (8, False), (12, True), (16, False), (20, True), (24, False), (28, True)]