我无法让 LinkExtractor 在数据属性中查找链接。
HTML 看起来像这样:
<a href='#' data-url='/path/to/page' >
LinkExtractor 是这样的:
LinkExtractor(allow=('us/support/', ),attrs=('href','data-href','data-url',))
页面上存在其他链接,其 URL 在 HREF 中,并且 LinkExtractor 发现那些很好,只是数据属性不是。
我发现了关于根据数据属性查找标签的类似问题,但没有关于在 LinkExtractor 中使用数据属性值的问题。
我认为这很常见,所以我很惊讶我必须找到答案的麻烦。
感谢任何帮助。
谢谢!
请您参考如下方法:
这里的问题是你正在设置允许参数,它限制 LinkExtractor 只去寻找那些匹配的链接,你设置 attrs 参数是正确,只需删除 allow:
le = LinkExtractor(attrs=('href','data-href','data-url',))
