Skip to main content
 首页 » 编程设计

python之将从 scrapy 中抓取的数据放入 elasticsearch 时出现 TypeError

2024年10月24日1198°冷暖

我一直在学习本教程 (http://blog.florian-hopf.de/2014/07/scrapy-and-elasticsearch.html) 并使用这个 scrapy elasticsearch 管道 (https://github.com/knockrentals/scrapy-elasticsearch),并且能够将数据从 scrapy 提取到 JSON 文件,并在本地主机上启动并运行 elasticsearch 服务器。

但是,当我尝试使用管道将抓取的数据发送到 elasticsearch 时,出现以下错误:

2015-08-05 21:21:53 [scrapy] ERROR: Error processing {'link': [u'http://www.meetup.com/Search-Meetup-Karlsruhe/events/221907250/'], 
 'title': [u'Alles rund um Elasticsearch']} 
Traceback (most recent call last): 
  File "/Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7/site-packages/twisted/internet/defer.py", line 588, in _runCallbacks 
    current.result = callback(current.result, *args, **kw) 
  File "/Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7/site-packages/scrapyelasticsearch/scrapyelasticsearch.py", line 70, in process_item 
    self.index_item(item) 
  File "/Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7/site-packages/scrapyelasticsearch/scrapyelasticsearch.py", line 52, in index_item 
    local_id = hashlib.sha1(item[uniq_key]).hexdigest() 
TypeError: must be string or buffer, not list 

我的 items.py scrapy 文件如下所示:

from scrapy.item import Item, Field 
 
class MeetupItem(Item): 
    title = Field() 
    link = Field() 
    description = Field() 

并且(我认为只有相关部分)我的 settings.py 文件如下所示:

from scrapy import log 
 
ITEM_PIPELINES = [ 
    'scrapyelasticsearch.scrapyelasticsearch.ElasticSearchPipeline', 
] 
 
ELASTICSEARCH_SERVER = 'localhost' # If not 'localhost' prepend 'http://' 
ELASTICSEARCH_PORT = 9200 # If port 80 leave blank 
ELASTICSEARCH_USERNAME = '' 
ELASTICSEARCH_PASSWORD = '' 
ELASTICSEARCH_INDEX = 'meetups' 
ELASTICSEARCH_TYPE = 'meetup' 
ELASTICSEARCH_UNIQ_KEY = 'link' 
ELASTICSEARCH_LOG_LEVEL= log.DEBUG 

如有任何帮助,我们将不胜感激!

请您参考如下方法:

如您在错误消息中所见:错误处理{'link': [u'http://www.meetup.com/Search-Meetup-Karlsruhe/events/221907250/'], 'title ': [u'Alles run um Elasticsearch']} 您项目的 link 和 title 字段是列表(值周围的方括号表示这一点)。

这是因为你在Scrapy中提取。您没有将其与您的问题一起发布,但您应该使用 response.xpath().extract()[0] 来获取列表的第一个结果。当然,在这种情况下,您应该准备好遇到空结果集以避免索引错误。

更新

对于您不提取任何内容的情况,您可以准备以下内容:

linkSelection = response.xpath().extract() 
item['link'] = linkSelection[0] if linkSelection else "" 

或类似的东西,具体取决于您的数据和字段。如果列表为空,也许 None 也有效。

基本思想是将 XPath 提取和列表项选择分开。如果它包含所需的元素,您应该从列表中选择一个项目。