Skip to main content
 首页 » 编程设计

Python 请求 api 不在表体中获取数据

2025年02月15日7zlslch

我正在尝试删除网页以从请求响应返回的文本数据中获取表格值。

</thead> 
 <tbody class="stats"></tbody> 
 <tbody class="annotation"></tbody> 
 </table> 
 </div> 

实际上 tbody 类中存在一些数据,但“我无法使用请求访问该数据。

这是我的代码

server = "http://www.ebi.ac.uk/QuickGO/GProtein" 
header = {'User-agent': 'Mozilla/5.0 (Windows; U; Windows NT 5.1; de;  
rv:1.9.1.5) Gecko/20091102 Firefox/3.5.5'} 
payloads = {'ac':'Q9BRY0'} 
response = requests.get(server, params=payloads) 
 
print(response.text) 
#soup = BeautifulSoup(response.text, 'lxml') 
#print(soup) 

请您参考如下方法:

坦率地说,我开始对涉及 Selenium 等产品的常规抓取失去兴趣,除此之外我不确定它是否有效。这种方法可以。

如果您有多个文件要下载,您至少会以这种形式执行此操作。

>>> import bs4 
>>> form = '''<form method="POST" action="GAnnotation"><input name="a" value="" type="hidden"><input name="termUse" value="ancestor" type="hidden"><input name="relType" value="IPO=" type="hidden"><input name="customRelType" value="IPOR+-?=" type="hidden"><input name="protein" value="Q9BRY0" type="hidden"><input name="tax" value="" type="hidden"><input name="qualifier" value="" type="hidden"><input name="goid" value="" type="hidden"><input name="ref" value="" type="hidden"><input name="evidence" value="" type="hidden"><input name="with" value="" type="hidden"><input name="source" value="" type="hidden"><input name="q" value="" type="hidden"><input name="col" value="proteinDB,proteinID,proteinSymbol,qualifier,goID,goName,aspect,evidence,ref,with,proteinTaxon,date,from,splice" type="hidden"><input name="select" value="normal" type="hidden"><input name="aspectSorter" value="" type="hidden"><input name="start" value="0" type="hidden"><input name="count" value="25" type="hidden"><input name="format" value="gaf" type="hidden"><input name="gz" value="false" type="hidden"><input name="limit" value="22" type="hidden"></form>''' 
>>> soup = bs4.BeautifulSoup(form, 'lxml') 
>>> action = soup.find('form').attrs['action'] 
>>> action  
'GAnnotation' 
>>> inputs = soup.findAll('input') 
>>> params = {} 
>>> for input in inputs: 
...     params[input.attrs['name']] = input.attrs['value'] 
...      
>>> import requests 
>>> r = requests.post('http://www.ebi.ac.uk/QuickGO/GAnnotation', data=params) 
>>> r 
<Response [200]> 
>>> open('temp.htm', 'w').write(r.text) 
4082 

下载的文件是您只需单击按钮即可收到的文件。

Chrome 浏览器的详细信息:

  • 在 Chrome 中打开页面。
  • 右键单击“下载”链接。
  • 选择“检查”。
  • 在 Chrome _Developer_ 菜单(靠近顶部)中选择“网络”,然后选择“全部”。
  • 点击页面中的“下载”。
  • --> 在新打开的窗口中单击“下载”。
  • “quickgoUtil.js:36”将出现在“启动器”列中。
  • 点击它。
  • 现在您可以通过单击行号在 `form.submit();` 上设置断点。
  • 再次点击“下载”;执行将在断点处暂停。
  • 在右侧窗口中注意“本地”。它的内容之一是“形式”。您可以将其展开以获取表单内容。

您需要此元素的 outerHTML 属性来获取上述代码中使用的信息,即其 action 和名称-值对。 (以及使用 POST 的隐含信息。)

现在使用请求模块向网站提交请求。

这是 params 中的项目列表,以备您提出其他请求时使用。

>>> for item in params.keys(): 
...     item, params[item] 
...  
('qualifier', '') 
('source', '') 
('count', '25') 
('protein', 'Q9BRY0') 
('format', 'gaf') 
('termUse', 'ancestor') 
('gz', 'false') 
('with', '') 
('goid', '') 
('start', '0') 
('customRelType', 'IPOR+-?=') 
('evidence', '') 
('aspectSorter', '') 
('tax', '') 
('relType', 'IPO=') 
('limit', '22') 
('col', 'proteinDB,proteinID,proteinSymbol,qualifier,goID,goName,aspect,evidence,ref,with,proteinTaxon,date,from,splice') 
('q', '') 
('ref', '') 
('select', 'normal') 
('a', '')