Skip to main content
 首页 » 编程设计

python之Selenium 和 Goodreads 的分页

2025年02月15日952php

我正在尝试从 Goodreads 中提取信息。问题是如果我进入这样的网址:

https://www.goodreads.com/shelf/show/programming?page=2

使用 Selenium chrome webdriver 或 BeautifulSoup,它仍然显示第一页,而不是第二页。
chrome webdriver 示例:



在普通浏览器上,它会显示这些书籍:

请您参考如下方法:

看起来发生这种情况是因为您没有登录您的 selenium session ,您将必须登录并在重新启动之间保存 cookie。

看看this stackoverflow 回答以了解如何提取 cookie。