Skip to main content
 首页 » 编程设计

python之共享列表(multiprocessing之manager之list)非常耗时

2024年11月01日10bjzhanghao

<分区>

我有流动的方案:

一个数据处理过程——The_process 很少的数据生成过程 - worker

我需要做的是共享列表foo_list,包含另外两个大对象list1,dict2,

foo_list = [list1, dict2] 

在这些进程之间。 worker 应该只从 foo_list 读取,但我需要他们有一致对应的 list1 和 dict2。 The_process 应该能够修改这些数据。

编辑:我需要工作人员更新版本的 foo_list。 The_process 偶尔会更新 foo_list,我需要工作人员尽快开始使用该更新版本。

我使用了 multiprocessing 库中的 manager.list,但分析显示,它占用了大约 25% 的程序时间,只是为了让 worker 从列表中获取数据。

那么问题来了,有没有其他的办法呢?还是我做错了?