Skip to main content
 首页 » 编程设计

Python:带有异步的 Pyppeteer

2024年12月31日28emanlee

我在做一些测试,我想知道下面的脚本是否在异步运行?

# python test.py  It took 1.3439464569091797 seconds. 

31(站点)x 1.34 = 41.54s - 所以它少了几秒钟,但理论上它只需要与最长请求一样长的时间?

# python test.py  It took 28.129364728927612 seconds. 

也许在这里打开浏览器不是异步的,我应该为此使用 executor?

# cat test.py  
import asyncio 
import time 
 
from pyppeteer import launch 
from urllib.parse import urlparse 
 
WEBSITE_LIST = [ 
    'http://envato.com', 
    'http://amazon.co.uk', 
    'http://amazon.com', 
    'http://facebook.com', 
    'http://google.com', 
    'http://google.fr', 
    'http://google.es', 
    'http://google.co.uk', 
    'http://internet.org', 
    'http://gmail.com', 
    'http://stackoverflow.com', 
    'http://github.com', 
    'http://heroku.com', 
    'http://djangoproject.com', 
    'http://rubyonrails.org', 
    'http://basecamp.com', 
    'http://trello.com', 
    'http://yiiframework.com', 
    'http://shopify.com', 
    'http://airbnb.com', 
    'http://instagram.com', 
    'http://snapchat.com', 
    'http://youtube.com', 
    'http://baidu.com', 
    'http://yahoo.com', 
    'http://live.com', 
    'http://linkedin.com', 
    'http://yandex.ru', 
    'http://netflix.com', 
    'http://wordpress.com', 
    'http://bing.com', 
] 
 
start = time.time() 
 
async def fetch(url): 
    browser = await launch(headless=True, args=['--no-sandbox']) 
    page = await browser.newPage() 
    await page.goto(f'{url}', {'waitUntil': 'load'}) 
    await page.screenshot({'path': f'img/{urlparse(url)[1]}.png'}) 
    await browser.close() 
 
async def run(): 
    tasks = [] 
 
    for url in WEBSITE_LIST: 
        task = asyncio.ensure_future(fetch(url)) 
        tasks.append(task) 
 
    responses = await asyncio.gather(*tasks) 
    #print(responses) 
 
#asyncio.get_event_loop().run_until_complete(fetch('http://yahoo.com')) 
loop = asyncio.get_event_loop() 
future = asyncio.ensure_future(run()) 
loop.run_until_complete(future) 
 
print(f'It took {time.time()-start} seconds.') 

请您参考如下方法:

根据pyppeteer源码,它使用的是subprocess没有管道来管理 Chromium 进程,并且 websockets进行交流,因此它是异步的。

您有 31 个站点,那么您将有 31+1 个流程。所以除非你有一个 32 核的 CPU(可能还有线程、系统进程、锁、超线程和所有影响结果的不同因素,所以这只是一个不精确的例子),它不会被完全执行 并行。所以我认为瓶颈是CPU打开浏览器,渲染网页,转成图片。使用执行器无济于事。

但是,它仍然是异步的。这意味着,您的 Python 进程没有被阻塞,您仍然可以同时运行其他代码或等待网络结果。只是当 CPU 被其他进程完全加载时,Python 进程“窃取”CPU 时间变得更加困难。