Skip to main content
 首页 » 编程设计

Python-每天从没有任何提要的网站上抓取新闻文章

2025年01月19日10mengfanrong

我可以使用 Python Beautiful Soup从站点提要 URL 中提取新闻项的模块。但是假设该站点没有提要,我需要每天从中提取新闻文章,就好像它有提要一样。

本站https://www.jugantor.com/没有饲料。即使通过谷歌搜索,我也没有找到任何 .使用以下代码片段,我尝试从站点中提取链接。结果显示链接,例如“http://epaper.jugantor.com” '. 但出现在网站上的新闻项目也不包含在提取的链接中。

我的代码:

from bs4 import BeautifulSoup 
from urllib.request import Request, urlopen 
import re 
 
 
def getLinks(url): 
 
    USER_AGENT = 'Mozilla/5.0 (Windows; U; Windows NT 5.1; de; rv:1.9.1.5) Gecko/20091102 Firefox/3.5.5' 
    request = Request(url) 
    request.add_header('User-Agent', USER_AGENT) 
    response = urlopen(request) 
    content = response.read().decode('utf-8') 
    response.close() 
 
    soup = BeautifulSoup(content, "html.parser") 
    links = [] 
 
    for link in soup.findAll('a', attrs={'href': re.compile("^http://")}): 
        links.append(link.get('href')) 
 
    return links 
 
print(getLinks("https://www.jugantor.com/")) 

显然这不符合预期目的。我需要“https://www.jugantor.com/”的所有新闻文章链接' 每天都好像我从饲料中获取它们一样。我可以使用 cron 作业每天运行一个脚本。但挑战仍然在于识别特定日期发表的所有文章,然后提取它们。

我该怎么做?任何 python 模块或算法等?

注意:存在一个有点类似的问题 here其中没有提到提要是解析源。似乎那里的 OP 关心的是从将文章列为文本快照的页面中提取文章。与那个问题不同,我的问题关注的是那些没有任何提要的网站。然而,那里存在的唯一答案并没有解决这个问题。

请您参考如下方法:

我不确定我是否理解正确,但我首先看到的是 {'href': re.compile("^http://")}。

您将错过所有 https 和相关链接。在这里可以跳过亲属链接没有任何问题(我猜..),但显然不是 https 链接。所以第一件事:

{'href': re.compile("^https?://")} 

然后,为了避免每天下载和解析相同的 URL,您可以提取文章的 id(在 https://www.jugantor.com/lifestyle/19519/%E0%...A7 %87 id 是 19519),将其保存在数据库中,因此在抓取页面之前首先验证该 id 是否存在。

最后一件事,我不确定这是否有用,但是这个 url https://www.jugantor.com/todays-paper/让我觉得你应该只能找到今天的新闻。