我一直在学习本教程 (http://blog.florian-hopf.de/2014/07/scrapy-and-elasticsearch.html) 并使用这个 scrapy elasticsearch 管道 (https://github.com/knockrentals/scrapy-elasticsearch),并且能够将数据从 scrapy 提取到 JSON 文件,并在本地主机上启动并运行 elasticsearch 服务器。
但是,当我尝试使用管道将抓取的数据发送到 elasticsearch 时,出现以下错误:
2015-08-05 21:21:53 [scrapy] ERROR: Error processing {'link': [u'http://www.meetup.com/Search-Meetup-Karlsruhe/events/221907250/'],
'title': [u'Alles rund um Elasticsearch']}
Traceback (most recent call last):
File "/Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7/site-packages/twisted/internet/defer.py", line 588, in _runCallbacks
current.result = callback(current.result, *args, **kw)
File "/Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7/site-packages/scrapyelasticsearch/scrapyelasticsearch.py", line 70, in process_item
self.index_item(item)
File "/Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7/site-packages/scrapyelasticsearch/scrapyelasticsearch.py", line 52, in index_item
local_id = hashlib.sha1(item[uniq_key]).hexdigest()
TypeError: must be string or buffer, not list
我的 items.py scrapy 文件如下所示:
from scrapy.item import Item, Field
class MeetupItem(Item):
title = Field()
link = Field()
description = Field()
并且(我认为只有相关部分)我的 settings.py 文件如下所示:
from scrapy import log
ITEM_PIPELINES = [
'scrapyelasticsearch.scrapyelasticsearch.ElasticSearchPipeline',
]
ELASTICSEARCH_SERVER = 'localhost' # If not 'localhost' prepend 'http://'
ELASTICSEARCH_PORT = 9200 # If port 80 leave blank
ELASTICSEARCH_USERNAME = ''
ELASTICSEARCH_PASSWORD = ''
ELASTICSEARCH_INDEX = 'meetups'
ELASTICSEARCH_TYPE = 'meetup'
ELASTICSEARCH_UNIQ_KEY = 'link'
ELASTICSEARCH_LOG_LEVEL= log.DEBUG
如有任何帮助,我们将不胜感激!
请您参考如下方法:
如您在错误消息中所见:错误处理{'link': [u'http://www.meetup.com/Search-Meetup-Karlsruhe/events/221907250/'], 'title ': [u'Alles run um Elasticsearch']} 您项目的 link 和 title 字段是列表(值周围的方括号表示这一点)。
这是因为你在Scrapy中提取。您没有将其与您的问题一起发布,但您应该使用 response.xpath().extract()[0] 来获取列表的第一个结果。当然,在这种情况下,您应该准备好遇到空结果集以避免索引错误。
更新
对于您不提取任何内容的情况,您可以准备以下内容:
linkSelection = response.xpath().extract()
item['link'] = linkSelection[0] if linkSelection else ""
或类似的东西,具体取决于您的数据和字段。如果列表为空,也许 None 也有效。
基本思想是将 XPath 提取和列表项选择分开。如果它包含所需的元素,您应该从列表中选择一个项目。
