我想从大约 10000 页的多个页面中获取数据,其中包含数字数组。但是一个接一个要花很长时间,而且我是 Python 的新手,所以我不太了解这种语言的多线程和异步
代码运行良好,它获取了预期的所有数据,但执行此操作需要几分钟时间。而且我知道如果我每次做的不仅仅是一个请求,它可能会完成得更快
import http.client
import json
def get_all_data():
connection = http.client.HTTPConnection("localhost:5000")
page = 1
data = {}
while True:
try:
api_url = f'/api/numbers?page={page}'
connection.request('GET', api_url)
response = connection.getresponse()
if(response.status is 200):
data[f'{page}'] = json.loads(response.read())['numbers']
items_returned = len(data[f'{page}'])
print(f'Por Favor, Aguarde. Obtendo os Dados... Request: {page} -- Itens Retornados: {items_returned}')
page += 1
if items_returned == 0 or items_returned == None :
break
except:
connection.close()
print('Todas as Requisições Concluídas!')
return data
如何重构此代码以一次按顺序执行多个请求而不是一个接一个?
请您参考如下方法:
基本上有三种方法可以完成这种工作,多线程、多处理和异步方式,正如 ACE 所提到的,页面参数存在是因为服务器动态生成模板,并且由于数据库更新,页面数量可能会随时间变化.最简单的方法是批处理作业,并尝试将每个批处理放入一个 try 异常 block 中,并分别处理最后一部分(一个批处理不够)。您可以将每个批处理中的作业数设置为变量并尝试不同的解决方案。
