我是编程和 python 方面的新手。但我想在我的 python 脚本中解析 HTML。
这是网页: http://stock.finance.sina.com.cn/hkstock/finance/00759.html
问题 1:
本页是关于特定股份的财务信息。这四张表是关于:
- 财务摘要,
- Assets 负债表,
- 现金流
- 损益表。
我想提取表 3 和表 4 中的信息。这是我的代码:
import urllib
from bs4 import BeautifulSoup
url = 'http://stock.finance.sina.com.cn/hkstock/finance/00759.html'
html = urllib.urlopen(url).read() #.read() mean read all into a string
soup = BeautifulSoup(html, "lxml")
table = soup.find("table", { "class" : "tab05" })
for row in table.findAll("tr"):
print row.findAll("td")
但是这段代码只能得到第一个表的信息。如何更改代码以获取第三个和第四个表信息?我发现那 4 个表不包含唯一 ID 或类名,我不知道如何找到它们....
问题 2:
这也是简体中文网页,如何在输出时保留原文?
问题 3:
在每个表格的右上角,有一个下拉菜单可以选择合适的时期,分别是:“全部”、“全年”、< strong>“半年”、“一季度”和“三季度”。 urllib 是否能够更改此下拉菜单?
非常感谢。
请您参考如下方法:
根据该网站,所有四个表都有类名称“tab05”。
因此,您只需将 soup 中的 .find 方法更改为 .findAll,然后所有四个表可以访问。
import urllib
from bs4 import BeautifulSoup
url = 'http://stock.finance.sina.com.cn/hkstock/finance/00759.html'
html = urllib.urlopen(url).read()
soup = BeautifulSoup(html, "lxml")
tables = soup.findAll("table", { "class" : "tab05" })
print len(tables) #4
for table in tables:
for row in table.findAll("tr"):
for col in row.findAll("td"):
print col.getText()
关于简体中文的编码,print col.getText() 会在终端得到正确的单词。如果您要将它们写入文件,则必须将字符串编码为 gb2312。
f.write(col.getText().encode('gb2312'))
对于第3个问题,由于数据是通过datatable.js中写的javascript函数渲染的,我认为仅仅通过urllib是不可能全部获取到的。最好查看其他一些库以找到合适的用法。
