我正在尝试从以下链接解析代理表 https://www.proxy-list.download/SOCKS5 使用检查元素,我可以看到“tbody”元素中有“tr”元素,其中有“td”元素。
但是,当我尝试访问这些并从每一行和每一列中提取代理时,就好像它们不存在一样。
它只返回一个空列表。
我试过将 lxml 解析切换为 html,并在没有类的情况下访问 tbody。我只是不太确定为什么我可以打印“汤”变量并获得此输出
<tbody class="table-hover" id="tabli">
</tbody>
但没有从行等中得到输出
import requests
from bs4 import BeautifulSoup, NavigableString
from selenium import webdriver
#While Loop Control Variable to Make Sure We Get a Working Proxy
successful_access = False
#Pulls the HTML of Our Proxy Website
website_url = requests.get("https://www.proxy-list.download/SOCKS5")
#Makes a Soup Variable That Turns Raw HTML Into "Parse-able" Data
soup = BeautifulSoup(website_url.content,"lxml")
#Puts The Table Object Into The "table" Variable
table = soup.find('tbody', attrs={'class':'table-hover'})
rows = table.find_all('tr')
print(rows)
#Initializes an Empty List for All Proxies
proxy_list = []
#For Each Row in Our List of Rows, We Extract The IP Number and Port, Appending Them To Our List Of IPs
for row in rows:
cols = rows.find_all('td')
ip = cols[0]
port = cols[1]
fullip = ip + ":" + port
proxy_list.append(fullip)
没有输出
print(rows)
行,当然,“proxy_list”列表也是空的。
[]
请您参考如下方法:
使用 API 端点返回提供该页面的 json。刷新您提供的 url 时,您可以在浏览器的网络选项卡中找到它。
import requests
r = requests.get('https://www.proxy-list.download/api/v0/get?l=en&t=socks5').json()
print(r[0]['LISTA'])
我喜欢这种格式,但您可以使用 pandas 生成数据框
import requests
import pandas as pd
r = requests.get('https://www.proxy-list.download/api/v0/get?l=en&t=socks5').json()
df = pd.io.json.json_normalize(r[0]['LISTA'])
print(df)
