首先,我遵循以下教程:http://doc.scrapy.org/en/0.16/intro/tutorial.html .
我跑:
scrapy shell http://www.dmoz.org/Computers/Programming/Languages/Python/Books/
在教程中它说:“shell 还实例化了两个选择器,一个用于 HTML(在 hxs 变量中),一个用于 XML(在 xxs 变量中),并带有此响应。让我们试试看:”
然而,我的输出没有 hxs 或 xxs 作为可用对象:
[s] Available Scrapy objects:
[s] crawler <scrapy.crawler.Crawler object at 0x03B33750>
[s] item {}
[s] request <GET http://tvtorrents.com/loggedin/show.do?id=3845>
[s] response <200 http://tvtorrents.com/login.do>
[s] settings <scrapy.settings.Settings object at 0x02718790>
[s] spider <Spider 'default' at 0x3e30190>
[s] Useful shortcuts:
[s] shelp() Shell help (print this help)
[s] fetch(req_or_url) Fetch request (or URL) and update local objects
[s] view(response) View response in a browser
我期待:
[s] hxs <HtmlXPathSelector (http://www.dmoz.org/Computers/Programming/Languages/Python/Books/) xpath=None>
[s] xxs <XmlXPathSelector (http://www.dmoz.org/Computers/Programming/Languages/Python/Books/) xpath=None>
作为“可用对象”。
这会阻止我像这样细化输出:
In [1]: hxs.select('//title')
Out[1]: [<HtmlXPathSelector (title) xpath=//title>]
感谢任何帮助!
请您参考如下方法:
这是一个版本问题:您使用的教程是为 Scrapy 0.16 编写的,而您使用的是更新版本的 Scrapy。使用此链接获取最新的可用教程:http://doc.scrapy.org/en/latest/intro/tutorial.html .
而且,仅供引用,您应该使用 response.xpath()现在:
$ scrapy shell http://stackoverflow.com
>>> response.xpath('//title')
[<Selector xpath='//title' data=u'<title>Stack Overflow</title>'>]
>>> response.xpath('//title').extract()
[u'<title>Stack Overflow</title>']
>>> response.xpath('//title/text()').extract()
[u'Stack Overflow']
