我正在为 tripAdvisor 附近酒店的景点构建一个抓取工具, 抓取工具会像这样解析 url:http://www.tripadvisor.com/AttractionsNear-g55711-d1218038-oa30-Dallas_Addison_Marriott_Quorum_By_the_Galleria-Dallas_Texas.html
我写了两条规则来获取这些 url,第二条是针对目标 url 的下一个景点页面:
Rule(SgmlLinkExtractor(allow=(".*AttractionsNear-g.*",),
restrict_xpaths=('.//div[@class="nearby_links wrap"]/a',), unique=True),
callback='parse_item', follow=True),
Rule(SgmlLinkExtractor(allow=(".*AttractionsNear-g.*",),
restrict_xpaths=('.//div[@class="pgLinks"]/a[contains(@class, "pageNext")]',), unique=True),
callback='parse_item', follow=True),
但是在我的目标 url 中,第一条规则是有效的,抓取工具将重新抓取已经解析的 url,并从头开始处理。
我试图避免 DownloaderMiddleware 的循环爬取
class LocationsDownloaderMiddleware(object):
def process_request(self, request, spider):
if(request.url.encode('ascii', errors='ignore') in deny_domains):
return IgnoreRequest()
else: return None
并通过在响应解析中管理 deny_domains 列表
def parse_item(self, response):
deny_domains.append(response.url.encode('ascii', errors='ignore'))
但现在这个中间件阻止了我要解析的每个 url。
我该如何管理它? 谢谢
请您参考如下方法:
SgmlLinkExtractor 已停产,您应该改用 scrapy.linkextractors.LinkExtractor。
现在你的规则应该是这样的:
rules = (
Rule(
LinkExtractor(
restrict_xpaths=['xpath_to_category'],
allow=('regex_for_links')
),
follow=True,
),
Rule(
LinkExtractor(
restrict_xpaths=['xpath_to_items'],
allow=('regex_to_links')
),
callback='some_parse_method',
),
)
当您指定 follow=True 时,这意味着您没有使用 callback,而是您只是指定应该“遵循”这些链接并且规则仍然申请。您可以查看文档 here .
它也不会发出重复的请求,因为 scrapy 正在过滤它。
