总的来说,我对scrapy和python很陌生,但我真的很想学习,我为此付出了很多努力!我正在尝试抓取 eb5info.com,选择每个单独的区域中心,并复制每个区域中心的电话号码和电子邮件。但是,当我抓取它时,它通知我抓取了 0 个网站。非常感谢任何帮助!
这是我的蜘蛛:
from scrapy.item import Item, Field
class Eb5Item(Item):
description = Field()
from scrapy.contrib.spiders import CrawlSpider, Rule
from scrapy.contrib.linkextractors.sgml import SgmlLinkExtractor
from scrapy.selector import HtmlXPathSelector
from parser_module.items import Eb5Item
class Eb5Spider(CrawlSpider):
name = 'eb5'
allowed_domains = ["eb5info.com"]
start_urls = ["http://eb5info.com/regional-centers"]
rules = (Rule(SgmlLinkExtractor(allow=[r'regional-centers/*$']), callback='parse_item'),)
def parse_item(self, response):
hxs = HtmlXPathSelector(response)
sites = hxs.select('//ul/li/a/@href')
items = []
for site in sites:
item = Eb5Item()
item['url'] = response.url
item['phone'] = site.select("()").extract()
items.append(item)
return (items)
这是我的项目文件:
from scrapy.item import Item, Field
class Eb5Item(Item):
# define the fields for your item here like:
name = Field()
email = Field()
name = Field()
description = Field()
phone = Field()
pass
非常感谢!
请您参考如下方法:
诚然,为此使用 Scrapy 有点太强大了。我个人会将 requests 与 lxml 或 BeautifulSoup 结合使用。
无论如何,这是您的代码的工作版本。我没有费心清理结果。这取决于你。
from scrapy.contrib.spiders import CrawlSpider
from scrapy.selector import Selector
from scrapy import Item, Field
from scrapy.http import Request
import urlparse
class Eb5Item(Item):
name = Field()
email = Field()
name = Field()
description = Field()
phone = Field()
url = Field()
class Eb5Spider(CrawlSpider):
name = 'eb5'
allowed_domains = ["eb5info.com"]
start_urls = ["http://eb5info.com/regional-centers/"]
def parse(self, response):
hxs = Selector(response)
sites = hxs.xpath('//ul/li/a/@href')
for site in sites:
yield Request(urlparse.urljoin("http://www.eb5info.com", site.extract()), callback=self.parse_item)
def parse_item(self, response):
hxs = Selector(response)
item = Eb5Item()
item['url'] = hxs.xpath("//dd/a/@href").extract()
# item[blah]...
print item['url']
return item
它的工作方式是parse 从start_urls 获取链接。由于只有一个页面(start_urls 中的相同 URL)包含所有链接,因此无需使用 Rule 来跟随其他页面。
我们覆盖 parse 以从所述页面获取链接,然后使用 Request 向 parse_item 发出回调。这意味着对于 parse 找到的每个链接,我们“进入”该链接并在其中执行 parse_item。
这个级别的抓取在技术上很容易,并不真正符合爬网的条件,这意味着 CrawlSpider 在这个级别上有点矫枉过正。
请注意,我使用的是最新版本的Scrapy,因此某些类和方法与您的不同。
