Skip to main content
 首页 » 编程设计

javascript之使用scrapy从网页中提取js数据

2025年05月04日24jackei

我正在使用 scrapy 抓取网页。

现在脚本标签中有一些数据。我使用 xpath 在脚本标签中获取了所有数据,看起来像这样。

 <script> 
 some data 
 
 abc.xyz=[["mohit","gupta","456123"]]; 
 
 some data 
 </script> 

我想要 abc.xyz 中的数据,但我做不到。

请您参考如下方法:

您可以使用正则表达式 abc.xyz=(.*?); 来提取变量值。另外,如果你想从中创建一个 python 列表,你可以使用 literal_eval() :

from ast import literal_eval 
import re 
 
text = """<script> 
 some data 
 
 abc.xyz=[["mohit","gupta","456123"]]; 
 
 some data 
 </script>""" 
 
value = re.search('abc.xyz=(.*?);', text).group(1) 
print value, type(value) 
 
value = literal_eval(value) 
print value, type(value) 

打印:

[["mohit","gupta","456123"]] <type 'str'> 
[['mohit', 'gupta', '456123']] <type 'list'>