我有一个 url 列表,我想抓取并遵循所有相同的管道。我该如何开始呢?我什至不确定从哪里开始。
主要思想是我通过站点和页面进行抓取。然后它会解析页面并更新数据库。我现在想要实现的是现在解析数据库中所有现有 url 的页面,这些 url 当天没有被抓取。
我曾尝试使用 close_spider 方法在管道中执行此操作,但无法获取这些 url 以请求/解析。当我 yield 时,整个 close_spider 方法不再被调用。
def close_spider(self, spider):
for item in models.Items.select().where(models.Items.last_scraped_ts < '2016-02-06 10:00:00'):
print item.url
yield Request(item.url, callback=spider.parse_product, dont_filter=True)
请您参考如下方法:
(重新阅读您的主题,我完全不确定我是否回答了您的问题...) 我在没有 scrapy 的情况下做了类似的事情,但是模块 lxml 和 request 网址:
listeofurl=['url1','url2']
或者如果 Url 有模式生成它们:
for i in range(0,10):
url=urlpattern+str(i)
然后我做了一个循环来解析每个具有相同模式的 url: 导入 json 从 lxml 导入 html 导入请求
listeOfurl=['url1','url2']
mydataliste={};
for url in listeOfurl:
page = requests.get(url)
tree = html.fromstring(page.content)
DataYouWantToKeep= tree.xpath('//*[@id="content"]/div/h2/text()[2]')
data[url]=DataYouWantToKeep
#and at the end you save all the data in Json
with open(filejson, 'w') as outfile:
json.dump(data, outfile)
