Skip to main content
 首页 » 编程设计

python之如何使用 BeautifulSoup 从 reddit 上抓取表格链接

2024年11月24日9xiaohuochai

我正在尝试使用 Beautiful Soup 从 Reddit 表格中抓取链接,并且可以成功提取除 URL 之外的所有表格内容。我正在使用 item.find_all('a') 但在使用此代码时它返回一个空列表:

import praw 
import csv 
import requests 
from bs4 import BeautifulSoup 
 
def Authorize(): 
    """Authorizes Reddit API""" 
    reddit = praw.Reddit(client_id='', 
                     client_secret='', 
                     username='', 
                     password='', 
                     user_agent='user') 
 
url = 'https://old.reddit.com/r/formattesting/comments/94nc49/will_it_work/' 
headers = {'User-Agent': 'Mozilla/5.0'} 
page = requests.get(url, headers=headers) 
 
soup = BeautifulSoup(page.text, 'html.parser') 
 
table_extract = soup.find_all('table')[0] 
table_extract_items = table_extract.find_all('a') 
 
for item in table_extract_items: 
    letter_name = item.contents[0] 
    links = item.find_all('a') 
    print(letter_name) 
    print(links) 

这是它返回的内容:

6GB EVGA GTX 980 TI 
[] 
Intel i7-4790K 
[] 
Asus Z97-K Motherboard 
[] 
2x8 HyperX Fury DDR3 RAM 
[] 
Elagto HD 60 Pro Capture Card 
[] 

我希望每个表格行下方的空列表都有一个 URL。

我不确定这是否会对构造产生影响,但最终目标是提取所有表格内容和链接(保持两者之间的关联)并作为两列保存到 CSV 文件中。但现在我只是尝试 print 以保持简单。

请您参考如下方法:

你就快到了。您的 table_extract_items 是 HTML anchor ,您需要从中提取 text – 使用 [ 的内容和属性 href >] 运算符。 I guess the inappropriate choice of variables name confused you. for-loop links = item.find_all('a') 中的行是错误的!

这是我的解决方案:

for anchor in table.findAll('a'): 
    # if not anchor: finaAll returns empty list, .find() return None 
    #    continue 
    href = anchor['href']     
    print (href) 
    print (anchor.text) 

table 在我的代码中就是你在你的代码中命名的table_extract

检查这个:

In [40]: for anchor in table.findAll('a'): 
        # if not anchor: 
        #        continue 
        href = anchor['href'] 
        text = anchor.text 
        print (href, "--", text) 
   ....:      
https://imgur.com/a/Y1WlDiK -- 6GB EVGA GTX 980 TI 
https://imgur.com/gallery/yxkPF3g -- Intel i7-4790K 
https://imgur.com/gallery/nUKnya3 -- Asus Z97-K Motherboard 
https://imgur.com/gallery/9YIU19P -- 2x8 HyperX Fury DDR3 RAM 
https://imgur.com/gallery/pNqXC2z -- Elagto HD 60 Pro Capture Card 
https://imgur.com/gallery/5K3bqMp -- Samsung EVO 250 GB SSD 
https://imgur.com/FO8JoQO -- Corsair Scimtar MMO Mouse 
https://imgur.com/C8PFsX0 -- Corsair K70 RGB Rapidfire Keyboard 
https://imgur.com/hfCEzMA -- I messed up