Skip to main content
 首页 » 编程设计

python之将 Selenium HTML 字符串传递给 Scrapy 以将 URL 添加到要抓取的 URL 的 Scrapy 列表

2025年05月04日30cloudgamer

我是 Python、Scrapy 和 Selenium 的新手。因此,我们将不胜感激您能提供的任何帮助。

我希望能够将从 Selenium 获得的 HTML 作为页面源并将其处理成 Scrapy Response 对象。主要原因是能够将 Selenium Webdriver 页面源中的 URL 添加到 Scrapy 将解析的 URL 列表中。

同样,我们将不胜感激。

作为第二个快速问题,有人知道如何查看 Scrapy 发现和抓取的 URL 列表中的 URL 列表吗?

谢谢!

*******编辑******* 这是我正在尝试做的一个例子。我无法理解第 5 部分。

class AB_Spider(CrawlSpider): 
    name = "ab_spider" 
    allowed_domains = ["abcdef.com"] 
    #start_urls = ["https://www.kickstarter.com/projects/597507018/pebble-e-paper-watch-for-iphone-and-android" 
    #, "https://www.kickstarter.com/projects/801465716/03-leagues-under-the-sea-the-seaquestor-flyer-subm"] 
    start_urls = ["https://www.abcdef.com/page/12345"] 
 
    def parse_abcs(self, response): 
        sel = Selector(response) 
        URL = response.url 
 
        #part 1: check if a certain element is on the webpage 
        last_chk = sel.xpath('//ul/li[@last_page="true"]') 
        a_len = len(last_chk) 
 
        #Part 2: if not, then get page via selenium webdriver 
        if a_len == 0: 
            #OPEN WEBDRIVER AND GET PAGE 
            driver = webdriver.Firefox() 
            driver.get(response.url)     
 
        #Part 3: run script to ineract with page until certain element appears 
        while a_len == 0: 
            print "ELEMENT NOT FOUND, USING SELENIUM TO GET THE WHOLE PAGE" 
 
            #scroll down one time 
            driver.execute_script("window.scrollTo(0, 1000000000);") 
 
            #get page source and check if last page is there 
            selen_html = driver.page_source 
            hxs = Selector(text=selen_html) 
            last_chk = hxs.xpath('//ul/li[@last_page="true"]') 
 
            a_len = len(last_chk) 
 
        driver.close() 
 
        #Part 4: extract the URLs in the selenium webdriver URL  
        all_URLS = hxs.xpath('a/@href').extract() 
 
        #Part 5: all_URLS add to the Scrapy URLs to be scraped 

请您参考如下方法:

只是yield Request来自方法的实例并提供回调:

class AB_Spider(CrawlSpider): 
    ... 
 
    def parse_abcs(self, response): 
        ... 
 
        all_URLS = hxs.xpath('a/@href').extract() 
 
        for url in all_URLS: 
            yield Request(url, callback=self.parse_page) 
 
    def parse_page(self, response): 
        # Do the parsing here