Skip to main content
 首页 » 编程设计

python之为什么多处理性能是看不见的

2024年10月25日10me-sa

我看到引用 here ,并尝试将该方法用于我的 for 循环,但它似乎没有按预期工作。

def concatMessage(obj_grab, content): 
    for logCatcher in obj_grab: 
        for key in logCatcher.dic_map: 
            regex = re.compile(key) 
            for j in range(len(content)): 
                for m in re.finditer(regex, content[j]): 
                    content[j] += "           " + logCatcher.index + "        " + logCatcher.dic_map[key] 
    return content 
 
def transferConcat(args): 
    return concatMessage(*args) 
 
if __name__ == "__name__": 
    pool = Pool() 
    content = pool.map(transferConcat, [(obj_grab, content)])[0] 
    pool.close() 
    pool.join() 

我想提高 for 循环的性能,因为它需要 22 秒才能运行。

当我直接运行该方法时,它也需要大约 22 秒。

看来增强失败了。

我应该怎么做才能提高 for 循环速度? 为什么 pool.map 在我的案例中不起作用?


经nablahero提醒,修改代码如下:

if __name__ == "__main__": 
    content = input_file(target).split("\n") 
    content = manager.list(content) 
    for files in source: 
        obj_grab.append((LogCatcher(files), content)) 
    pool = Pool() 
    pool.map(transferConcat, obj_grab) 
    pool.close() 
    pool.join() 
 
def concatMessage(LogCatcher, content): 
    for key in LogCatcher.dic_map: 
        regex = re.compile(key) 
        for j in range(len(content)): 
            for m in re.finditer(regex, content[j]): 
                content[j] += LogCatcher.index + LogCatcher.dic_map[key] 
 
def transferConcat(args): 
    return concatMessage(*args) 

经过漫长的等待,导致 82 秒完成...

为什么我会遇到这种情况?如何修改我的代码?


obj_grab是一个列表,里面包含了不同文件输入的logCatcher content是我要拼接的文件,使用Manager()让多进程拼接同一个文件。

请您参考如下方法:

obj_grab 和内容中有什么?我猜它只包含一个对象,所以当您启动 Pool 时,您只调用函数 transferConcat 一次,因为您在 obj_grab 和内容中只有一个对象。

如果您使用 map ,请再次查看您的引用资料。 obj_grab 和 content 必须是对象列表才能加快程序速度,因为它会使用不同的 obj_grab 和 content 多次调用该函数。

pool.map 不会加速函数本身 - 函数只是针对不同的数据并行调用多次!

我希望这能澄清一些事情。