Skip to main content
 首页 » 编程设计

python之请求在表单上发布不返回生成的页面

2024年11月01日8mengfanrong

我想从这个网站用 python 抓取:http://www.ssa.gov/oact/babynames/#ht=1

在底部的名称表下,有三个选项卡。我希望将 POST 发送到“按出生年份划分的流行名称”选项卡下的表单。

这是我的代码:

from bs4 import BeautifulSoup 
import requests 
 
url = "http://www.ssa.gov/oact/babynames/" 
 
payload = { 
    'year': 2010, 
    'top': 50 
} 
 
r = requests.post(url, data=payload) 
# returns status 200 
 
soup = BeautifulSoup(r.text) 
 
print soup.prettify() 

这只会返回原始页面,而不是我要查找的生成页面。

它没有返回生成的页面的原因可能是什么?

谢谢!

请您参考如下方法:

您需要将 POST 请求的 url 更改为 http://www.ssa.gov/cgi-bin/popularnames.cgi .

演示:

>>> from bs4 import BeautifulSoup 
>>> import requests 
>>> url = "http://www.ssa.gov/cgi-bin/popularnames.cgi" 
>>> payload = { 
...     'year': 2010, 
...     'top': 50 
... } 
>>> r = requests.post(url, data=payload) 
>>> soup = BeautifulSoup(r.text) 
>>> table = soup.find('table', summary='Popularity for top 50') 
>>> for row in table.find_all('tr')[1:4]: 
...     print [td.text for td in row.find_all('td')] 
...  
[u'1', u'Jacob', u'Isabella'] 
[u'2', u'Ethan', u'Sophia'] 
[u'3', u'Michael', u'Emma']