我正在尝试将多处理与 pool.map 结合使用来加速函数的执行,但可迭代对象不是该函数的第一个参数。 Lambda 将无法工作,因为它们不可腌制。我尝试使用 functools.partial 创建一个新函数,但失败并出现 TypeError。下面是一个非常简单的例子,结果相同。如果我将参数顺序切换为 f(i, s1, s2),它会按预期工作。
为什么参数顺序在这里很重要?当我阅读 doc 时,这对我来说并不明显.
我有什么选择(除了明显的改变原始功能)?
import multiprocessing
from functools import partial
def f(s1, s2, i):
return [s1] + [s2]*i
def main():
# other code... constants for f aren't known until runtime
pool = multiprocessing.Pool()
func = partial(f, s1='a', s2='c')
for strings in pool.map(func, range(10)):
print(strings)
pool.close()
pool.join()
if __name__ == '__main__':
main()
更新: 我能想到的最好的办法是在模块级别创建一个包装器来切换参数顺序,然后从包装器中创建一个部分。看起来不漂亮或根本不像 python 。
import multiprocessing
from functools import partial
def f(s1, s2, i):
return [s1] + [s2]*i
def wrapper(i, s1, s2):
return f(s1, s2, i)
def main():
# other code... constants for f aren't known until runtime
pool = multiprocessing.Pool()
func = partial(wrapper, s1='foo', s2='bar')
for strings in pool.map(func, range(10)):
print(strings)
pool.close()
pool.join()
if __name__ == '__main__':
main()
请您参考如下方法:
顺序很重要,因为 pool.map 正在调用 f(i, s1='a', s2='c')。 你可以这样写你的部分:
import multiprocessing
def f(s1, s2, i):
return [s1] + [s2]*i
def f2(i):
return f('a','c',i)
if __name__ == '__main__':
pool = multiprocessing.Pool()
for strings in pool.map(f2, range(10)):
print(strings)
pool.close()
pool.join()
如果您使用的是 python3.3,pool.starmap 可供您使用:
import multiprocessing
from itertools import repeat
def f(s1, s2, i):
return [s1] + [s2]*i
if __name__ == '__main__':
pool = multiprocessing.Pool()
for strings in pool.starmap(f, zip(repeat('a'), repeat('c'), range(10))):
print(strings)
pool.close()
pool.join()
