Skip to main content
 首页 » 编程设计

python之不在网络抓取中迭代列表

2025年01月19日10webabcd

通过一个链接,我试图创建两个列表:一个用于国家,另一个用于货币。但是,我被困在某个时候,它只给我第一个国家名称,但没有迭代到所有国家的列表。任何有关我如何解决此问题的帮助将不胜感激。提前致谢。

这是我的尝试:

from bs4 import BeautifulSoup 
import urllib.request 
 
url = "http://www.worldatlas.com/aatlas/infopage/currency.htm" 
headers = {'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X  
10_10_5) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/47.0.2526.80  
Safari/537.36'} 
 
req = urllib.request.Request(url, headers=headers) 
resp = urllib.request.urlopen(req) 
html = resp.read() 
 
soup = BeautifulSoup(html, "html.parser") 
attr = {"class" : "miscTxt"} 
 
countries = soup.find_all("div", attrs=attr) 
countries_list = [tr.td.string for tr in countries] 
 
for country in countries_list: 
    print(country) 

请您参考如下方法:

您还可以使用单个推导式列表生成元组列表,例如 [(country, currency)],然后使用 map & zip 将元组转换为 2 个列表| :

temp_list = [ 
    (t[0].text.strip(), t[1].text.strip())  
    for t in (t.find_all('td') for t in countries[0].find_all('tr')) 
    if t 
] 
 
countries_list, currency_list = map(list,zip(*temp_list)) 

完整代码:

from bs4 import BeautifulSoup 
import urllib.request 
 
req = urllib.request.Request("http://www.worldatlas.com/aatlas/infopage/currency.htm") 
 
soup = BeautifulSoup(urllib.request.urlopen(req).read(), "html.parser") 
 
countries = soup.find_all("div", attrs = {"class" : "miscTxt"}) 
 
temp_list = [ 
    (t[0].text.strip(), t[1].text.strip())  
    for t in (t.find_all('td') for t in countries[0].find_all('tr')) 
    if t 
] 
 
countries_list, currency_list = map(list,zip(*temp_list)) 
 
print(countries_list) 
print(currency_list)