我正在抓取此类页面的表格:
http://www.trulia.com/school-district/CA-San_Francisco_County/San_Francisco_Unified/
有一个包含多个页面的表格,其更改是通过 XMLHttpRequest 进行的,检查页面我可以获得该请求的 te url
但是我不能用scrapy抓取这个url
当我尝试时:
scrapy shell http://www.trulia.com/q_schools_in_district.php?did=600116051&grade=elementary&page=2&sortby=testRating&sortdir=desc
我没有收到回复,如何抓取这些数据?
请您参考如下方法:
[最初由 eLRuLL 在评论中发表]
用 "" 包围你的 url,因为第二个 url 包含 &,它也被 shell 识别以运行另一个进程。
