我正在尝试尽快提取大量信息,并使用以下代码来提供帮助:
pool = Pool()
products = Post.objects.filter(affiliate_product_url=None)
res = pool.map_async(get_info, products)
w = res.get()
pool.close()
运行时返回
File "<console>", line 1, in <module>
File "scripts/image_affiliate_pull.py", line 113, in <module>
w = res.get()
File "C:\Python27\lib\multiprocessing\pool.py", line 558, in get
raise self._value
TypeError: expected string or Unicode object, NoneType found
根据我的搜索,这可能与酸洗有关?我将如何最好地让它发挥作用?解释为什么它以这种方式工作也将是无价的:D
请您参考如下方法:
如果获取回溯是一个问题,那么为了调试,您可以使用 multiprocessing.pool.ThreadPool 而不是常规进程池。 它具有完全相同的界面,只是您没有在进程之间传递回溯的问题。
可能的警告 - 不确定线程在 Web 服务器内的行为方式。
