Skip to main content
 首页 » 编程设计

python之无法从 Scrapy 中返回的请求获得响应

2024年10月24日19Leo_wl

我只想将 url 传递给另一个解析器。它没有像文档中所示那样工作,所以我将我的代码减少到最少但仍然没有。也尝试了 yield

# -*- coding: utf-8 -*- 
import scrapy 
import cfscrape 
from scrapy.spiders import Spider 
import json 
 
rez=[] 
 
class LinkbaseSpider(Spider): 
 
name = "mine" 
allowed_domains = ["127.0.0.1"] 
start_urls = ( 
    'file://127.0.0.1/home/link.html', 
)  
 
def parse(self, response): 
 
    request= scrapy.Request("http://www.google.com",callback=self.parse2) 
    return request 
 
 
def parse2(self,response): 
    self.logger.info("Visited %s", response.url) 
    print("00000000000000000000000") 

请您参考如下方法:

假设您的缩进实际上是正确的,则有一个 OffSiteMiddleware 根据 allowed_domains 过滤您的请求。在这种情况下,google.com 是不允许的,因为 allowed_domains 设置为 ["127.0.0.1"]。

您可以通过设置 dont_filter=True 来解决它实例化 Request 时:

def parse(self, response): 
    return scrapy.Request("http://www.google.com", 
                          callback=self.parse2, 
                          dont_filter=True) 

仅供引用,如果您有兴趣,这里是中间件的内部工作方式:source code .