Skip to main content
 首页 » 编程设计

python之使用 python scrapy 提取作为表一部分的 div 标签条目

2025年04月02日7insus

我正在尝试使用 python scrapy 在网页上提取一些数据。我对 HTML/CSS 的了解还不够多,无法判断其格式是否正确,但似乎并非如此。我感兴趣的目标信息具有如下所示的模式。一个表包含一组我有兴趣提取的条目(名称、年份、Int1、Int2)。但是这些不在标准的 TD 标签中,而是 DIV 标签的一部分。这是一个例子:

<table width='100%'> 
<tr> 
<td width='50%'> 
<div style='width: 10px; float: left'>&nbsp;</div> 
     <div style='width: 232px; float: left'>Mr. Richard D. Hanson</div> 
     <div style='width: 40px; float: left'>1989</div> 
     <div style='width: 88px; float: left; text-align: right'>1</div> 
     <div style='width: 88px; float: left; text-align: right'>27</div></td><td width='50%'><div style='width: 10px; float: left'>&nbsp;</div> 
     <div style='width: 232px; float: left'>Alison G. Mills, CPA</div> 
     <div style='width: 40px; float: left'>1989</div> 
     <div style='width: 88px; float: left; text-align: right'>8</div> 
     <div style='width: 88px; float: left; text-align: right'>12</div></td></tr><tr><td width='50%'><div style='width: 10px; float: left'>&nbsp;</div> 
     <div style='width: 232px; float: left'>Mr. Timothy D. Harrell</div> 
     <div style='width: 40px; float: left'>1989</div> 
     <div style='width: 88px; float: left; text-align: right'>28</div> 
     <div style='width: 88px; float: left; text-align: right'>28</div></td><td width='50%'><div style='width: 10px; float: left'>&nbsp;</div> 
     <div style='width: 232px; float: left'>Debora R. Mitchell, PhD</div> 
     <div style='width: 40px; float: left'>1989</div> 
     <div style='width: 88px; float: left; text-align: right'>20</div> 
     <div style='width: 88px; float: left; text-align: right'>21</div></td></tr><tr><td width='50%'><div style='width: 10px; float: left'>&nbsp;</div> 
<div style='width: 232px; float: left'>Mr. Tim J. Scoggins</div> 
     <div style='width: 40px; float: left'>1989</div> 
     <div style='width: 88px; float: left; text-align: right'>1</div> 
     <div style='width: 88px; float: left; text-align: right'>9</div> 
</td> 
</tr> 
</table> 

这是我到目前为止使用 Scrapy Shell 尝试过的

尝试 1:

这行得通,但随后我需要将条目相互关联 - 即为下面访问的每个名称获取年份以及 Int1 和 Int2

>>> response.xpath('//div[@style="width: 232px; float: left"]/text()').extract() 
[u'Mr. Richard D. Hanson', u'Alison G. Mills, CPA', u'Mr. Timothy D. Harrell', u'Debora R. Mitchell, PhD', u'Mr. Tim J. Scoggins'] 

尝试 2: 在这次尝试中,我希望进行一次调用,然后遍历每个条目并将其存储在字典中。不幸的是,我不确定这里发生了什么

>>> response.xpath('//table[@width="100%"]/tr/td[@width="50%"]/div[@style="width: 10px; float: left"]/text()').extract() 
[u'\xa0', u'\xa0', u'\xa0', u'\xa0', u'\xa0'] 

有什么想法吗?

请您参考如下方法:

你可以得到每个内部div的文本然后split the extracted list into chunks :

In [1]: data = response.xpath("//table/tr/td/div/text()").extract()  
In [2]: [data[x+1:x+5] for x in xrange(0, len(data), 5)] 
Out[2]:  
[[u'Mr. Richard D. Hanson', u'1989', u'1', u'27'], 
 [u'Alison G. Mills, CPA', u'1989', u'8', u'12'], 
 [u'Mr. Timothy D. Harrell', u'1989', u'28', u'28'], 
 [u'Debora R. Mitchell, PhD', u'1989', u'20', u'21'], 
 [u'Mr. Tim J. Scoggins', u'1989', u'1', u'9']]