我可以使用 Python Beautiful Soup从站点提要 URL 中提取新闻项的模块。但是假设该站点没有提要,我需要每天从中提取新闻文章,就好像它有提要一样。
本站https://www.jugantor.com/没有饲料。即使通过谷歌搜索,我也没有找到任何 .使用以下代码片段,我尝试从站点中提取链接。结果显示链接,例如“http://epaper.jugantor.com” '. 但出现在网站上的新闻项目也不包含在提取的链接中。
我的代码:
from bs4 import BeautifulSoup
from urllib.request import Request, urlopen
import re
def getLinks(url):
USER_AGENT = 'Mozilla/5.0 (Windows; U; Windows NT 5.1; de; rv:1.9.1.5) Gecko/20091102 Firefox/3.5.5'
request = Request(url)
request.add_header('User-Agent', USER_AGENT)
response = urlopen(request)
content = response.read().decode('utf-8')
response.close()
soup = BeautifulSoup(content, "html.parser")
links = []
for link in soup.findAll('a', attrs={'href': re.compile("^http://")}):
links.append(link.get('href'))
return links
print(getLinks("https://www.jugantor.com/"))
显然这不符合预期目的。我需要“https://www.jugantor.com/”的所有新闻文章链接' 每天都好像我从饲料中获取它们一样。我可以使用 cron 作业每天运行一个脚本。但挑战仍然在于识别特定日期发表的所有文章,然后提取它们。
我该怎么做?任何 python 模块或算法等?
注意:存在一个有点类似的问题 here其中没有提到提要是解析源。似乎那里的 OP 关心的是从将文章列为文本快照的页面中提取文章。与那个问题不同,我的问题关注的是那些没有任何提要的网站。然而,那里存在的唯一答案并没有解决这个问题。
请您参考如下方法:
我不确定我是否理解正确,但我首先看到的是 {'href': re.compile("^http://")}。
您将错过所有 https 和相关链接。在这里可以跳过亲属链接没有任何问题(我猜..),但显然不是 https 链接。所以第一件事:
{'href': re.compile("^https?://")}
然后,为了避免每天下载和解析相同的 URL,您可以提取文章的 id(在 https://www.jugantor.com/lifestyle/19519/%E0%...A7 %87 id 是 19519),将其保存在数据库中,因此在抓取页面之前首先验证该 id 是否存在。
最后一件事,我不确定这是否有用,但是这个 url https://www.jugantor.com/todays-paper/让我觉得你应该只能找到今天的新闻。
