python之Scrapy Splash 点击按钮不起作用_编程设计

我想做什么

在 avito.ru(俄罗斯房地产网站)上，某人的电话在您点击它之前是隐藏的。我想用Scrapy+Splash收集手机。

示例网址:https://www.avito.ru/moskva/kvartiry/2-k_kvartira_84_m_412_et._992361048

点击按钮后，弹出窗口，手机可见。

我正在使用 Splash execute具有以下 Lua 脚本的 API:

function main(splash) 
    splash:go(splash.args.url) 
    splash:wait(10) 
    splash:runjs("document.getElementsByClassName('item-phone-button')[0].click()") 
    splash:wait(10) 
    return splash:png() 
end

问题

按钮没有被点击，电话号码也没有显示。这是一项微不足道的任务，我无法解释为什么它不起作用。

如果我们将 item-phone-button 替换为 js-show-stat，则在同一页面上的另一个字段点击效果很好。所以 Javascript 一般可以工作，蓝色的“显示电话”按钮一定很特别。

我尝试过的

为了隔离问题，我创建了一个包含最少示例脚本的存储库和一个用于 Splash 的 docker-compose 文件:https://github.com/alexanderlukanin13/splash-avito-phone

Javascript 代码是有效的，您可以在 Chrome 和 Firefox 中使用 Javascript 控制台验证它

document.getElementsByClassName('item-phone-button')[0].click()

我已经用 Splash 版本 3.0、3.1、3.2 试过了，结果是一样的。

更新

我也试过:

@Lore 的建议，包括 simulateClick() 方法(参见 simulate_click 分支)
此处描述的 mouseDown/mouseUp 事件:Simulating a mousedown, click, mouseup sequence in Tampermonkey? (见trigger_mouse_event分支)

请您参考如下方法:

以下脚本对我有用:

function main(splash, args) 
  splash.private_mode_enabled = false 
  assert(splash:go(args.url)) 
  btn = splash:select_all('.item-phone-button')[2] 
  btn:mouse_click() 
  btn.style.border = "5px solid black" 
  assert(splash:wait(0.5)) 
  return { 
    num = #splash:select_all('.item-phone-button'), 
    html = splash:html(), 
    png = splash:png(), 
    har = splash:har(), 
  } 
end

原始解决方案有 2 个问题:

有 2 个元素具有“item-phone-button”类，感兴趣的按钮是第二个。我通过设置 btn.style.border = "5px solid black" 检查了哪个元素匹配。
此网站需要禁用私有(private)模式，可能是因为它使用了 localStorage。检查http://splash.readthedocs.io/en/stable/faq.html#website-is-not-rendered-correctly其他常见建议。