Skip to main content
 首页 » 编程设计

python之Scrapy shell 没有 hxs 或 xxs 作为可用对象

2024年10月25日898°冷暖

首先,我遵循以下教程:http://doc.scrapy.org/en/0.16/intro/tutorial.html .

我跑:

scrapy shell http://www.dmoz.org/Computers/Programming/Languages/Python/Books/ 

在教程中它说:“shell 还实例化了两个选择器,一个用于 HTML(在 hxs 变量中),一个用于 XML(在 xxs 变量中),并带有此响应。让我们试试看:”

然而,我的输出没有 hxs 或 xxs 作为可用对象:

[s] Available Scrapy objects: 
[s]   crawler    <scrapy.crawler.Crawler object at 0x03B33750> 
[s]   item       {} 
[s]   request    <GET http://tvtorrents.com/loggedin/show.do?id=3845> 
[s]   response   <200 http://tvtorrents.com/login.do> 
[s]   settings   <scrapy.settings.Settings object at 0x02718790> 
[s]   spider     <Spider 'default' at 0x3e30190> 
[s] Useful shortcuts: 
[s]   shelp()           Shell help (print this help) 
[s]   fetch(req_or_url) Fetch request (or URL) and update local objects 
[s]   view(response)    View response in a browser 

我期待:

[s]   hxs        <HtmlXPathSelector (http://www.dmoz.org/Computers/Programming/Languages/Python/Books/) xpath=None> 
[s]   xxs        <XmlXPathSelector (http://www.dmoz.org/Computers/Programming/Languages/Python/Books/) xpath=None> 

作为“可用对象”。

这会阻止我像这样细化输出:

In [1]: hxs.select('//title') 
Out[1]: [<HtmlXPathSelector (title) xpath=//title>] 

感谢任何帮助!

请您参考如下方法:

这是一个版本问题:您使用的教程是为 Scrapy 0.16 编写的,而您使用的是更新版本的 Scrapy。使用此链接获取最新的可用教程:http://doc.scrapy.org/en/latest/intro/tutorial.html .

而且,仅供引用,您应该使用 response.xpath()现在:

$ scrapy shell http://stackoverflow.com 
>>> response.xpath('//title') 
[<Selector xpath='//title' data=u'<title>Stack Overflow</title>'>] 
>>> response.xpath('//title').extract() 
[u'<title>Stack Overflow</title>'] 
>>> response.xpath('//title/text()').extract() 
[u'Stack Overflow']