这是我第一次尝试创建蜘蛛,如果我做得不好,请原谅我。 这是我试图从中提取数据的网站的链接。 http://www.4icu.org/in/ .我想要页面上显示的完整大学列表。但是当我运行以下蜘蛛时,我返回一个空的 json 文件。 我的项目.py
import scrapy
class CollegesItem(scrapy.Item):
# define the fields for your item here like:
link = scrapy.Field()
这是蜘蛛 学院.py
import scrapy
from scrapy.spider import Spider
from scrapy.http import Request
class CollegesItem(scrapy.Item):
# define the fields for your item here like:
link = scrapy.Field()
class CollegesSpider(Spider):
name = 'colleges'
allowed_domains = ["4icu.org"]
start_urls = ('http://www.4icu.org/in/',)
def parse(self, response):
return Request(
url = "http://www.4icu.org/in/",
callback = self.parse_fixtures
)
def parse_fixtures(self,response):
sel = response.selector
for div in sel.css("col span_2_of_2>div>tbody>tr"):
item = Fixture()
item['university.name'] = tr.xpath('td[@class="i"]/span /a/text()').extract()
yield item
请您参考如下方法:
正如问题评论中所述,您的代码存在一些问题。
首先,您不需要两个方法 -- 因为在 parse 方法中,您调用的 URL 与在 start_urls 中调用的相同。
要从站点获取一些信息,请尝试使用以下代码:
def parse(self, response):
for tr in response.xpath('//div[@class="section group"][5]/div[@class="col span_2_of_2"][1]/table//tr'):
if tr.xpath(".//td[@class='i']"):
name = tr.xpath('./td[1]/a/text()').extract()[0]
location = tr.xpath('./td[2]//text()').extract()[0]
print name, location
并根据您的需要调整它以填充您的项目(或项目)。
如您所见,您的浏览器在 table 中显示了一个额外的 tbody,当您使用 Scrapy 进行抓取时,它并不存在。这意味着您经常需要判断您在浏览器中看到的内容。
