Skip to main content
 首页 » 编程设计

python之使用Python + BeautifulSoup串联提取标签,创建列表列表

2025年01月19日20exmyth

我对 python/BeautifulSoup 有点陌生,想知道我是否可以就如何完成以下任务获得一些指导。

我有一个网页的 html,其结构如下:

1) 包含在包含所有图像名称(Name1、Name2、Name3)的标签中的代码块。

2) 包含在具有图像 url 的标记中的代码块。

3) 网页上出现的日期。我将它放入“日期”变量中(这已经被提取)

我试图从代码中提取包含 [['image1','url1', 'date'], ['image2','url2','date']] 的列表列表稍后我会将其转换为字典(通过 dict(zip(labels, values)) 函数),并插入到 mysql 表中。

我所能想到的就是如何提取两个包含所有图像和所有 url 的列表。关于如何完成我想做的事情有什么想法吗?

需要牢记的几点:

1) 图片的数量和名称总是变化的 (1:1)

2) 日期总是出现一次。

附言另外,如果有更优雅的方法通过 bs4 提取数据,请告诉我!

from bs4 import BeautifulSoup 
name = [] 
url = [] 
date = '2017-10-12' 
 
text = '<div class="tabs"> <ul><li> NAME1</li><li> NAME2</li><li> NAME3</li> </ul> <div><div><div class="img-wrapper"><img alt="" src="www.image1.com/1.jpg" title="image1.jpg"></img> </div> <center><a class="button print" href="javascript: w=window.open("www.image1.com/1.jpg); w.print();"> Print</a> </center></div><div> <div class="img-wrapper"><img alt="" src="www.image2.com/2.jpg" title="image2.jpg"></img> </div> <center><a class="button print" href="javascript: w=window.open("www.image2.com/2.jpg"); w.print();">Print</a> </center></div><div> <div class="img-wrapper"><img alt="" src="www.image1.com/3.jpg" title="image3.jpg"></img></div> <center><a class="button print" href="javascript: w=window.open("www.image1.com/3.jpg"); w.print();"> Print</a> </center></div> </div></div>' 
soup = BeautifulSoup(text, 'lxml') 
#print soup.prettify() 
#get names 
for imgz in soup.find_all('div', attrs={'class':'img-wrapper'}): 
    for imglinks in imgz.find_all('img', src = True):  
        #print imgz 
        url.append((imglinks['src']).encode("utf-8")) 
#3 get ad URLS 
for ultag in soup.find_all('ul'): 
    for litag in ultag.find_all('li'):  
        name.append((litag.text).encode("utf-8")) #dump all urls into a list 
print url 
print name 

请您参考如下方法:

这是拉取 url 和名称的另一种可能途径:

url = [tag.get('src') for tag in soup.find_all('img')] 
name = [tag.text.strip() for tag in soup.find_all('li')] 
 
print(url) 
# ['www.image1.com/1.jpg', 'www.image2.com/2.jpg', 'www.image1.com/3.jpg'] 
 
print(name) 
# ['NAME1', 'NAME2', 'NAME3'] 

至于最终的列表创建,这里有一些在功能上类似于@t.m.adam 所建议的东西:

print([pair + [date] for pair in list(map(list, zip(url, name)))]) 
# [['www.image1.com/1.jpg', 'NAME1', '2017-10-12'], 
#  ['www.image2.com/2.jpg', 'NAME2', '2017-10-12'], 
#  ['www.image1.com/3.jpg', 'NAME3', '2017-10-12']] 

请注意,map 现在很少使用,在 some places 中完全不鼓励使用它。 .

或者:

n = len(url) 
print(list(map(list, zip(url, name, [date] * n)))) 
# [['www.image1.com/1.jpg', 'NAME1', '2017-10-12'], ['www.image2.com/2.jpg', 'NAME2', '2017-10-12'], ['www.image1.com/3.jpg', 'NAME3', '2017-10-12']]