Skip to main content
 首页 » 编程设计

python之为什么我的 linkExtractor 在 scrapy spider 中无法抓取允许的链接

2024年10月24日26lvdongjie

我创建了一个简单的蜘蛛来抓取 disneyfoodblog.com 帖子并返回帖子标题和帖子永久链接。

我的项目没有显示任何错误。调试输出(见下文)显示所有起始链接都已访问,但这些页面上的链接没有被抓取。起始页是存放每天帖子的页面。从那里,我试图抓取实际的帖子。

我的爬虫代码:

import datetime 
 
import scrapy 
from scrapy.contrib.spiders import CrawlSpider, Rule  
from scrapy.contrib.linkextractors.sgml import SgmlLinkExtractor 
from scrapy import log 
 
from dfbScrape.items import * 
 
 
class dfbSpider(CrawlSpider): 
    name="dfb" 
    base="http://disneyfoodblog.com/" 
    allowed_domains=[base] 
 
    start_urls=[] 
    startDate=datetime.date(2014,6,1) 
    endDate=datetime.date.today() 
    while startDate<endDate: 
        start_urls.append(base+str(startDate.year)+"/"+startDate.strftime("%m")+"/"+startDate.strftime("%d")+"/") 
        startDate+=datetime.timedelta(days=1) 
 
    rules = [Rule(SgmlLinkExtractor(allow=["\d+/\d+/\d+/.+/"]), callback='parse_item')] 
 
    def parse_item(self, response): 
        self.log('Hi, this is an item page! %s' % response.url) 
        item =DfbscrapeItem() 
        item['title']=response.xpath('/html/body/div[3]/div[3]/div/div/main/article/header/h1').extract() 
        item['link']=response.url 
        print "t: %s l: %s" % (item['title'],item['link']) 
        return item 

可以在 pastebin 上查看调试输出.

让我知道我是否应该在此处包含实际输出。我没有,因为它差不多有 800 行长。

我唯一的想法是恕我直言,这不是一个很好的想法。这可能是已弃用的链接提取器的问题。我在 lxml 上选择了这个,因为我没有发现使用 lxml 的示例,而且有很多使用旧的示例。即使您无法回答我的问题,也非常感谢 lxml 的优势和示例。一如既往地欢迎建设性的批评和编辑。请询问您需要的任何其他信息。

请您参考如下方法:

如果您更仔细地查看输出,您会看到“已过滤的异地请求”消息:

2015-06-07 10:00:01-0500 [dfb] DEBUG: Filtered offsite request to 'www.disneyfoodblog.com': http://www.disneyfoodblog.com/2013/03/26/best-disney-world-restaurants-for-first-time-disney-visitors/>

这意味着“链接提取器”完成了它的工作。

但是,您的allowed_domains 设置未正确定义,应定义为:

allowed_domains = ["www.disneyfoodblog.com"] 

(为我工作)。