Skip to main content
 首页 » 编程设计

python之如何使用 scrapy_splash 包在表单发布后重定向

2025年02月15日8bhlsheji

我正在使用 Python、Scrapy、Splash 和 scrapy_splash 包来抓取网站。

我可以使用 scrapy_splash 中的 SplashRequest 对象登录。 登录创建一个 cookie,使我可以访问门户页面。至此一切正常。

在门户页面上,有一个包含多个按钮的表单元素。单击时,操作 URL 会更新并触发表单提交。表单提交导致 302 重定向。

我对 SplashRequest 尝试了相同的方法,但是,我无法捕获随重定向返回的 SSO 查询参数。我试图读取 header Location 参数但没有成功。

我也尝试过将 lua 脚本与 SplashRequest 对象结合使用,但是,我仍然无法访问重定向位置对象。

任何指导将不胜感激。

我意识到还有其他解决方案(即 selenium)可用,但是上述技术是我们在大量其他脚本中使用的技术,我犹豫要为这个特定用例添加新技术。

# Lua script to capture cookies and SSO query parameter from 302 Redirect 
lua_script = """ 
    function main(splash) 
        if splash.args.cookies then 
            splash:init_cookies(splash.args.cookies) 
        end 
        assert(splash:go{ 
            splash.args.url, 
            headers=splash.args.headers, 
            http_method=splash.args.http_method, 
            body=splash.args.body, 
            formdata=splash.args.formdata 
        }) 
        assert(splash:wait(0)) 
 
        local entries = splash:history() 
        local last_response = entries[#entries].response 
 
        return { 
            url = splash:url(), 
            headers = last_response.headers, 
            http_status = last_response.status, 
            cookies = splash:get_cookies(), 
            html = splash:html(), 
        } 
    end 
    """ 
 
def parse(self, response): 
    yield SplashRequest( 
    url='https://members.example.com/login', 
    callback=self.portal_page, 
    method='POST', 
    endpoint='execute', 
    args={ 
        'wait': 0.5, 
        'lua_source': self.lua_script, 
        'formdata': { 
            'username': self.login,  
            'password': self.password 
        }, 
    } 
) 
 
def portal_page(self, response): 
    yield SplashRequest( 
    url='https://data.example.com/portal' 
    callback=self.data_download, 
    args={ 
        'wait': 0.5, 
        'lua_source': self.lua_script, 
        'formdata': {} 
    }, 
) 
 
def data_download(self, response): 
    print(response.body.decode('utf8') 

请您参考如下方法:

我用一个工作示例更新了上面的问题。

我更改了一些内容,但我遇到的问题与缺少 splash:init_cookies(splash.args.cookies) 引用直接相关。

我还从使用 SplashFormRequest 转换为使用 SplashRequest,重构了 splash:go block 并删除了对特定表单的引用。

再次感谢@MikhailKorobov 的帮助。