Skip to main content
 首页 » 编程设计

python之scrapy中处理XMLHttpRequest

2025年05月04日16yxwkf

我正在抓取此类页面的表格:

http://www.trulia.com/school-district/CA-San_Francisco_County/San_Francisco_Unified/

有一个包含多个页面的表格,其更改是通过 XMLHttpRequest 进行的,检查页面我可以获得该请求的 te url

http://www.trulia.com/q_schools_in_district.php?did=600116051&grade=elementary&page=2&sortby=testRating&sortdir=desc

但是我不能用scrapy抓取这个url

当我尝试时:

scrapy shell http://www.trulia.com/q_schools_in_district.php?did=600116051&grade=elementary&page=2&sortby=testRating&sortdir=desc 

我没有收到回复,如何抓取这些数据?

请您参考如下方法:

[最初由 eLRuLL 在评论中发表]

用 "" 包围你的 url,因为第二个 url 包含 &,它也被 shell 识别以运行另一个进程。