我需要从一个非常具有挑战性的网站上抓取一些信息
这是一个例子:
<div class="overview">
<span class="course_titles">Courses:</span>
<a href="/schools/courses/173/" class="course_name">Math101</a> (Math; Monday; Room 10);
<a href="/schools/student/1388/" class="coursestudent_name">Mark</a> 17,
<a href="/schools/student/1401/" class="coursestudent_name">Alex</a> 18, ),
<a href="/schools/courses/2693/" class="course_name">English101</a> (English; Thursdays; Room 12);
<a href="/schools/student/1403/" class="coursestudent_name">Sarah</a> 16,
<a href="/schools/student/1411/" class="coursestudent_name">Nancy</a> 17,
<a href="/schools/student/1390/" class="coursestudent_name">Casey</a> 17 ),
</div>
每门类(class)都有特定的学生,他们的名字后面有他们的年龄(那些随机字符已经在里面了)。
我需要将每门类(class)与他们各自的学生以及年龄一起抓取。
不幸的是,除了包罗万象的 div 类之外,没有固有的层次结构。我尝试通过“course_name”使用 BeautifulSoup 进行抓取,然后添加所有具有“coursestudent_name”属性的项目,但通过这种方式我添加了每门类(class)的所有学生。
我希望我可以更改网站,但我不能。任何人都知道我如何才能与正确的学生一起获得每门类(class)的信息?
谢谢!
请您参考如下方法:
您主要可以使用 BeautifulSoup 然后使用一点点正则表达式来获取不在任何 html 标签内的学生年龄
soup = BeautifulSoup(html, "html.parser")
allA = soup.find("div", {"class" : "overview"}).find_all("a")
classInfo = {}
currentClass = None
for item in allA:
if item['class'] == ['course_name']:
classInfo[item.text] = []
currentClass = item.text
else:
classInfo[currentClass] += [(item.text, int(re.search(item.text + r"</a> (\d+)", html).group(1)))]
print(classInfo)
这个输出:
{'English101': [('Sarah', 16), ('Nancy', 17), ('Casey', 17)], 'Math101': [('Mark', 17), ('Alex', 18)]}
