Skip to main content
 首页 » 编程设计

python之Scrapy CrawlSpider之从数据属性中提取链接(LinkExtractor 规则)

2024年12月31日6grandyang

我无法让 LinkExtractor 在数据属性中查找链接。

HTML 看起来像这样:

<a href='#' data-url='/path/to/page' > 

LinkExtractor 是这样的:

LinkExtractor(allow=('us/support/', ),attrs=('href','data-href','data-url',)) 

页面上存在其他链接,其 URL 在 HREF 中,并且 LinkExtractor 发现那些很好,只是数据属性不是。

我发现了关于根据数据属性查找标签的类似问题,但没有关于在 LinkExtractor 中使用数据属性值的问题。

我认为这很常见,所以我很惊讶我必须找到答案的麻烦。

感谢任何帮助。

谢谢!

请您参考如下方法:

这里的问题是你正在设置允许参数,它限制 LinkExtractor 只去寻找那些匹配的链接,你设置 attrs 参数是正确,只需删除 allow:

le = LinkExtractor(attrs=('href','data-href','data-url',))