我是 Python 的新手,正在努力从 FederalReserve 网站下载一个 .txt 文件,其中包含路由号码 (ACH) 列表及其相应的金融机构名称。
最大的警告是,在到达包含所需 .txt 数据的页面之前,我必须单击“接受”按钮。协议(protocol)按钮的链接和包含 .txt 数据的页面都在我的代码中。我无法列出这两个链接,因为我对这个网站太陌生了。
谁能帮帮我?
我尝试了多种方法,包括 selenium、beautiful soap、Firefox 中的 TamperData 以了解要回发的内容等。
以下是我认为应该是最简单的路线,基于我的基础知识,但进行了大量的试错:
import webbrowser
import requests
url = 'https://www.frbservices.org/EPaymentsDirectory/agreement.html'
payload = {'agreementValue':'Agree'}
response = requests.get(url, data=payload)
webbrowser.open("https://www.frbservices.org/EPaymentsDirectory/FedACHdir.txt")
请您参考如下方法:
我尝试了几次使用 requests 和 requests.Session() 但没有成功,然后通过移动到 PostMan 简化了事情仍然无法通过。
然后我改变了方法,Mechanize图书馆来拯救。
import mechanize
br = mechanize.Browser()
br.open( 'https://www.frbservices.org/EPaymentsDirectory/fpddir.txt' )
br.select_form( name="acceptedForm" )
rs = br.submit( name="agreementValue", nr=0 )
print( rs.get_data() )
011000015FRB-BOS FEDERAL RESERVE BANK OF BOSTON MABOSTON Y Y20040910
...
.
大部分都是直截了当的代码,但这一行才是最重要的:
rs = br.submit( name="agreementValue", nr=0 )
表单有两个提交按钮,一个是同意,另一个是不同意,但它们的名称相同 name="agreementValue" . nr=0 参数选择第一个匹配项并提交该匹配项。
提交完成后,远程站点会自动加载所需的文本文件,并且可以从响应中读取 rs.get_data()
