我正在尝试让我的函数为列表的所有元素发出网络请求:
import myClass
def getForAll(elements):
myList = []
for element in elements:
myList.append([element] + myClass.doThing(element))
return myList
我试过以下方法,但总是超时:
import myClass
from multiprocessing import Pool
def getForAll(elements):
pool = Pool()
queries = []
for element in elements:
queries.append(pool.apply_async(myClass.doThing, element))
myList = []
for query in queries:
myList.append(query.get(timeout=10))
return myList
但这不是时间问题,因为删除超时只会导致它永远运行。
queries.append(pool.apply_async(myClass.doThing, [element]))
也没有做出任何不同。
澄清一下:我用一个字符串列表调用 getForAll(),函数 doThing() 返回一个字符串列表列表。我不需要订单保持不变,但如果可能的话会很好。此外,我不需要将“CPU-Work”分离到多个内核上,我只是不想为每个元素等待大约一秒,因为 doThing 调用 requests.get() 两次,我相信可以同时对所有元素完成,而无需等待响应,使代码以相同的速度运行,而不管元素的数量如何?
请您参考如下方法:
import myClass
from multiprocessing import Pool
def getForAll(elements):
pool = Pool()
return pool.map(myClass.doThing, elements)
这非常适合我的用例。由于我使用的 API 的限制,我还不得不将我的元素分成更小的组,使用来自 SO 的代码:
f = lambda A, n=5: [A[i:i + n] for i in range(0, len(A), n)]
queries = f(elements)
