我正在尝试使用 python scrapy 在网页上提取一些数据。我对 HTML/CSS 的了解还不够多,无法判断其格式是否正确,但似乎并非如此。我感兴趣的目标信息具有如下所示的模式。一个表包含一组我有兴趣提取的条目(名称、年份、Int1、Int2)。但是这些不在标准的 TD 标签中,而是 DIV 标签的一部分。这是一个例子:
<table width='100%'>
<tr>
<td width='50%'>
<div style='width: 10px; float: left'> </div>
<div style='width: 232px; float: left'>Mr. Richard D. Hanson</div>
<div style='width: 40px; float: left'>1989</div>
<div style='width: 88px; float: left; text-align: right'>1</div>
<div style='width: 88px; float: left; text-align: right'>27</div></td><td width='50%'><div style='width: 10px; float: left'> </div>
<div style='width: 232px; float: left'>Alison G. Mills, CPA</div>
<div style='width: 40px; float: left'>1989</div>
<div style='width: 88px; float: left; text-align: right'>8</div>
<div style='width: 88px; float: left; text-align: right'>12</div></td></tr><tr><td width='50%'><div style='width: 10px; float: left'> </div>
<div style='width: 232px; float: left'>Mr. Timothy D. Harrell</div>
<div style='width: 40px; float: left'>1989</div>
<div style='width: 88px; float: left; text-align: right'>28</div>
<div style='width: 88px; float: left; text-align: right'>28</div></td><td width='50%'><div style='width: 10px; float: left'> </div>
<div style='width: 232px; float: left'>Debora R. Mitchell, PhD</div>
<div style='width: 40px; float: left'>1989</div>
<div style='width: 88px; float: left; text-align: right'>20</div>
<div style='width: 88px; float: left; text-align: right'>21</div></td></tr><tr><td width='50%'><div style='width: 10px; float: left'> </div>
<div style='width: 232px; float: left'>Mr. Tim J. Scoggins</div>
<div style='width: 40px; float: left'>1989</div>
<div style='width: 88px; float: left; text-align: right'>1</div>
<div style='width: 88px; float: left; text-align: right'>9</div>
</td>
</tr>
</table>
这是我到目前为止使用 Scrapy Shell 尝试过的
尝试 1:
这行得通,但随后我需要将条目相互关联 - 即为下面访问的每个名称获取年份以及 Int1 和 Int2
>>> response.xpath('//div[@style="width: 232px; float: left"]/text()').extract()
[u'Mr. Richard D. Hanson', u'Alison G. Mills, CPA', u'Mr. Timothy D. Harrell', u'Debora R. Mitchell, PhD', u'Mr. Tim J. Scoggins']
尝试 2: 在这次尝试中,我希望进行一次调用,然后遍历每个条目并将其存储在字典中。不幸的是,我不确定这里发生了什么
>>> response.xpath('//table[@width="100%"]/tr/td[@width="50%"]/div[@style="width: 10px; float: left"]/text()').extract()
[u'\xa0', u'\xa0', u'\xa0', u'\xa0', u'\xa0']
有什么想法吗?
请您参考如下方法:
你可以得到每个内部div的文本然后split the extracted list into chunks :
In [1]: data = response.xpath("//table/tr/td/div/text()").extract()
In [2]: [data[x+1:x+5] for x in xrange(0, len(data), 5)]
Out[2]:
[[u'Mr. Richard D. Hanson', u'1989', u'1', u'27'],
[u'Alison G. Mills, CPA', u'1989', u'8', u'12'],
[u'Mr. Timothy D. Harrell', u'1989', u'28', u'28'],
[u'Debora R. Mitchell, PhD', u'1989', u'20', u'21'],
[u'Mr. Tim J. Scoggins', u'1989', u'1', u'9']]
