Scrapy 是否可以在 Item Loader 中结合 Xpath 和 CSS 选择器?
我承认,直到知道为止,为了简单起见,我一直避免使用 Item Loader,但现在我觉得我需要它们来提高可维护性。
到目前为止,我一直在为我的一些选择器将 Xpath 和 CSS 选择器链接在一起,例如 sel.xpath('.//td[@class="desc"]').css(' .title')。我这样做是因为标题混合了其他类,或者标题的间距不均匀(还有 it's the recommended way in the documentation )。
对于加载程序,我只看到一个 .add_xpath() 方法和一个单独的 .add_css() 方法。有没有“正确”的方法来做到这一点?
请您参考如下方法:
一般来说,我们尽量避免将 XPath 表达式与 CSS 选择器混合,这通常很容易实现。但是,如果你想使用 Item Loaders,同时混合使用 XPath 和 CSS,你需要使用 ItemLoader在内部使用。
沿着这些线的东西:
from scrapy.loader import ItemLoader
from scrapy.utils.python import flatten
class MyItemLoader(ItemLoader):
def add_xpath_and_css(self, field_name, xpaths, csss, *processors, **kw):
# get the xpath results first
xpath_results = flatten([self.selector.xpath(xpath) for xpath in xpaths])
# for every xpath result apply a css selector
values = flatten([xpath_result.css(css).extract() for xpath_result in xpath_results for css in csss])
self.add_value(field_name, values, *processors, **kw)
