我刚刚尝试使用 Python Beautifulsoup 进行网络抓取,以便从购物网站获取产品的 URL。
这里我提供我的简单代码:
import requests
from bs4 import BeautifulSoup
root_url = 'http://www.flipkart.com'
index_url = root_url + '/tablets'
def get_item_url():
response = requests.get(index_url)
soup = BeautifulSoup(response.text)
return [a.attrs.get('href') for a in soup.select('div.product-unit unit- 4 browse-product-section a[href^=/digiflip-pro-et701-tablet]')
print(get_item_url())
运行这个程序会产生这样的错误:
File "C:\Python27\lib\site-packages\bs4\element.py", line 1300, in select
'Unsupported or invalid CSS selector: "%s"' % token)
ValueError: Unsupported or invalid CSS selector: "unit-4"
如何解决这个错误?
请您参考如下方法:
查看 Beautiful Soup 文档,我看到在 select() 中的属性之间放置空格搜索其他标签下方 的标签。所以你的 select()正在寻找名为 unit-4 的属性在 div.product-unit 下面的某处, 然后它正在寻找 browse-product-section下面unit-4 .不存在这样的属性,因此它返回错误。
select() 中的属性实际上是该网页上存在的 HTML 类的名称,因此您必须附加一个 .给他们每个人找到他们。但是,我认为您真正想要的是更像是:
return [a.attrs.get('href') for a in soup.select('div.product-unit a[href^=/digiflip-pro-et701-tablet]')]
它在该 div 下查找 href 并返回
['/digiflip-pro-et701-tablet/p/itme27y5v2ws5cfm?pid=TABDWMDPGHPNYND7', '/digiflip-pro-et701-tablet/p/itme27y5v2ws5cfm?pid=TABDWMDPGHPNYND7', '/digiflip-pro-et701-tablet/p/itme27y5v2ws5cfm?pid=TABDWMDPGHPNYND7&ref=70ca8997-80a5-412d-9b94-6d5fb55f1277', '/digiflip-pro-et701-tablet/p/itme27y5v2ws5cfm?pid=TABDWGBMYSEMWHUY&ref=70ca8997-80a5-412d-9b94-6d5fb55f1277']
顺便说一句,您也可以替换 div.product-unit与 unit-4 ,甚至做 select('a[href^=/digiflip-pro-et701-tablet]')单独使用,你会得到相同的输出。
