Skip to main content
 首页 » 编程设计

python之如何使用 Http.Client 在 Python 中加速多个连续的 http 请求

2024年12月31日6虾米哥

我想从大约 10000 页的多个页面中获取数据,其中包含数字数组。但是一个接一个要花很长时间,而且我是 Python 的新手,所以我不太了解这种语言的多线程和异步

代码运行良好,它获取了预期的所有数据,但执行此操作需要几分钟时间。而且我知道如果我每次做的不仅仅是一个请求,它可能会完成得更快

import http.client 
import json 
 
def get_all_data(): 
    connection = http.client.HTTPConnection("localhost:5000") 
    page = 1 
    data = {} 
 
    while True: 
        try: 
 
            api_url = f'/api/numbers?page={page}' 
            connection.request('GET', api_url) 
            response = connection.getresponse() 
 
            if(response.status is 200): 
                data[f'{page}'] = json.loads(response.read())['numbers'] 
                items_returned = len(data[f'{page}']) 
                print(f'Por Favor, Aguarde. Obtendo os Dados... Request: {page} -- Itens Retornados: {items_returned}') 
                page += 1 
                if items_returned == 0 or items_returned == None : 
                    break 
    except: 
        connection.close() 
 
print('Todas as Requisições Concluídas!') 
return data 

如何重构此代码以一次按顺序执行多个请求而不是一个接一个?

请您参考如下方法:

基本上有三种方法可以完成这种工作,多线程、多处理和异步方式,正如 ACE 所提到的,页面参数存在是因为服务器动态生成模板,并且由于数据库更新,页面数量可能会随时间变化.最简单的方法是批处理作业,并尝试将每个批处理放入一个 try 异常 block 中,并分别处理最后一部分(一个批处理不够)。您可以将每个批处理中的作业数设置为变量并尝试不同的解决方案。