假设我正在使用 Python 中的 Urllib2 库从服务器检索 Urls 列表。我注意到获得一页大约需要 5 秒,而完成我想要收集的所有页面需要很长时间。
我正在思考这 5 秒。大部分时间都花在了服务器端,我想知道我是否可以开始使用线程库。假设在这种情况下有 5 个线程,那么平均时间可能会显着增加。每页可能有 1 或 2 秒。 (可能会使服务器有点忙)。我怎样才能优化线程数,这样我才能获得合法的速度并且不会太用力地插入服务器。
谢谢!
更新: 我一个一个地增加线程数,监控爬取100个URL所花费的总时间(单位:分钟)。事实证明,当您将线程数更改为 2 时,总时间显着减少,并且随着线程数的增加而持续减少,但是线程化带来的“改善”变得越来越不明显。 (当你构建太多线程时,总时间甚至会出现反弹) 我知道这只是我收获的 Web 服务器的一个特定案例,但我决定分享只是为了展示线程的强大功能,希望有一天能对某人有所帮助。
请您参考如下方法:
您可以做一些事情。如果 URL 位于不同的域,那么您可能只是将工作分散到线程中,每个线程从不同的域下载一个页面。
如果您的 URL 都指向同一台服务器并且您不想对服务器施加压力,那么您可以按顺序检索 URL。如果服务器对几个并行请求感到满意,您可以查看 pools of workers .你可以开始,比如说一个由四个工作人员组成的池,并将你所有的 URL 添加到一个队列中,工作人员将从中提取新的 URL。
由于您也将问题标记为“屏幕抓取”,scrapy是一个专用的抓取框架,可以工作in parallel .
Python 3 在 concurrent.futures 下带有一组新的内置并发原语.
