Skip to main content
 首页 » 编程设计

python之在 Item Loader 中结合 Xpath 和 CSS 选择器

2024年10月24日11jirigala

Scrapy 是否可以在 Item Loader 中结合 Xpath 和 CSS 选择器?

我承认,直到知道为止,为了简单起见,我一直避免使用 Item Loader,但现在我觉得我需要它们来提高可维护性。

到目前为止,我一直在为我的一些选择器将 Xpath 和 CSS 选择器链接在一起,例如 sel.xpath('.//td[@class="desc"]').css(' .title')。我这样做是因为标题混合了其他类,或者标题的间距不均匀(还有 it's the recommended way in the documentation )。

对于加载程序,我只看到一个 .add_xpath() 方法和一个单独的 .add_css() 方法。有没有“正确”的方法来做到这一点?

请您参考如下方法:

一般来说,我们尽量避免将 XPath 表达式与 CSS 选择器混合,这通常很容易实现。但是,如果你想使用 Item Loaders,同时混合使用 XPath 和 CSS,你需要使用 ItemLoader在内部使用。

沿着这些线的东西:

from scrapy.loader import ItemLoader 
from scrapy.utils.python import flatten 
 
class MyItemLoader(ItemLoader): 
    def add_xpath_and_css(self, field_name, xpaths, csss, *processors, **kw): 
        # get the xpath results first 
        xpath_results = flatten([self.selector.xpath(xpath) for xpath in xpaths]) 
 
        # for every xpath result apply a css selector 
        values = flatten([xpath_result.css(css).extract() for xpath_result in xpath_results for css in csss]) 
 
        self.add_value(field_name, values, *processors, **kw)