Skip to main content
 首页 » 编程设计

python之如何根据产品选择(例如尺寸、颜色、包装)抓取信息

2024年11月24日9jiqing9006

我上周成功抓取了 1600 多个页面。但是被告知,返回的数据中有很大一部分对于被拉取的内容是不正确的。(即价格)我的意思是,如果被抓取的项目可以选择(尺寸、颜色、数量/包装),以便按顺序进行选择要查看价格,我如何才能收集到每次选择的正确价格?看来我的逻辑是拉它找到的第一个价格。

我在早期尝试只解析页面代码中可用的每个组合,但总是无法准确返回,我转向只提取 1 个价格,但似乎我使用的大多数测试页面都没有选项特定定价,所以我忽略了很大一部分在布局和功能上不相似的 URL。目前唯一有效的是我拥有的代码,可以在这里找到。

https://stackoverflow.com/questions/55925202/why-does-this-code-generate-multiple-files-i-want-1-file-with-all-entries-in-it/55925220#55925220 

这对于我们抓取的任何没有任何选择的项目页面来说效果很好,正如预期的那样。

https://stackoverflow.com/questions/55925202/why-does-this-code-generate-multiple-files-i-want-1-file-with-all-entries-in-it/55925220#55925220 

完整的代码已经发布在这里,最终版本可以正常工作。

我不需要完整的示例,我只需要一些关于在代码中关注什么的指导,以便自动进行产品选择以获得正确的价格、选择组合

这是一个没有显示正确价格的示例页面: https://www.dickssportinggoods.com/p/berkley-vanish-fluorocarbon-fishing-line-15bkyuvnsh25010clfli/15bkyuvnsh25010clfli

当您开始选择时价格会发生变化,如果您选择“6”磅和“2000 码”,价格将变为 $75.99,然后如果您将其更改为“250 码”,则价格将变为 $12.99

由于我们会不时地需要拉出特定的磅数和长度,我需要关注什么才能系统地为所需的选择拉出正确的价格?

有没有一种方法可以只提取每页的所有组合,这样我们就不会一遍又一遍地访问同一个页面?

我查看了此处的一些链接和其他似乎处理此问题的网站,但即使它们与我正在尝试完成的事情相同,我也不会迷失方向。

只是寻找一些关于从哪里开始或尝试什么的指导..

请您参考如下方法:

在使用 scrapy 时,如果您想要所有组合,您需要确保在脚本中包含所有条件,如您所知,这是完全不合理的。

我会使用两种不同的解析器,scrapy 用于一般抓取,selenium 用于更具体的抓取。使用 selenium,您可以在脚本中输入特定组合并在页面上解析价格,如下所示:

import requests 
import urllib3 
import pandas as pd 
import numpy as np 
import os 
import traceback 
import io 
from bs4 import BeautifulSoup 
from selenium import webdriver 
from selenium.webdriver.chrome.options import Options 
from selenium.webdriver.support.wait import WebDriverWait 
from selenium.webdriver.common.by import By 
from selenium.webdriver.support import expected_conditions as EC 
 
 
chrome_options = Options() 
#chrome_options.add_argument('--headless') 
#chrome_options.add_argument('--hide-scrollbars') 
#chrome_options.add_argument('--disable-gpu') 
#chrome_options.add_argument("--log-level=3")  # fatal 
 
url = 'https://www.dickssportinggoods.com/p/berkley-vanish-fluorocarbon-fishing-line-15bkyuvnsh25010clfli/15bkyuvnsh25010clfli' 
 
browser = webdriver.Chrome( 
    executable_path=r'C:\Users\edekio\Documents\chromedriver.exe', chrome_options=chrome_options) 
browser.get(url) 
 
pounds = browser.find_element_by_link_text('14').click() 
 
length = browser.find_element_by_link_text('250 yds').click() 
 
price = WebDriverWait(browser, 60).until( 
    EC.presence_of_element_located((By.ID, "ProductInfoPrice_740978"))) 
 
price_text = price.get_attribute('value') 
print(price_text) 

输出:

14.99 

如您所见,我们可以使用 selenium 将特定值传递到框中,从而获得您想要的确切价格。然而,上面的脚本并不是包罗万象的,但它应该是一个很好的起点。