有没有办法将我从网上抓取的数据转换为 pandas DataFrame?
抓取的数据是股票基本面数据 Ex。 abt:2.71 6.00 abt = 股票代码,2.71 = 市净率和 6.00 = PEG 比率
我尝试用空数据框声明一个变量并使用 .append() 函数但没有成功
我猜测数据在传递给数据框之前应该以某种方式进行转换,但我现在知道如何进行转换。
根据评论中的建议重做了代码,现在数据框变空了???
import time
import urllib.request
import urllib.parse
import pandas as pd
sp500short = ['a', 'aa', 'aapl', 'abbv', 'abc', 'abt', 'ace', 'aci', 'acn', 'act', 'adbe', 'adi', 'adm', 'adp']
#stock = 'a'
data = []
color_list = ['<span style="color:#aa0000;">', '<span style="color:#008800;">']
color_close = '</span>'
def finvizPBStats(stock):
try:
sourceCode = urllib.request.urlopen('http://finviz.com/quote.ashx?t='+stock).read()
sourceCodeString = sourceCode.decode()
pbr = sourceCodeString.split('P/B</td><td width="8%" class="snapshot-td2" align="left"><b>')[1].split('</b></td>')[0]
for color in color_list:
if color in pbr:
pbr = pbr.split(color)[1].split(color_close)[0]
pbr = float(pbr)
except Exception as e:
if Exception:
pass
return
def finvizPEGStats(stock):
try:
sourceCode = urllib.request.urlopen('http://finviz.com/quote.ashx?t='+stock).read()
sourceCodeString = sourceCode.decode()
PEG = sourceCodeString.split('PEG</td><td width="8%" class="snapshot-td2" align="left"><b>')[1].split('</b></td>')[0]
for color in color_list:
if color in PEG:
PEG = PEG.split(color)[1].split(color_close)[0]
PEG = float(PEG)
except Exception as e:
if Exception:
pass
return
for stock in sp500short:
pbr = finvizPBStats(stock)
PEG = finvizPEGStats(stock)
data.append([pbr, PEG])
df = pd.DataFrame(index=sp500short, columns=['pbr', 'PEG'])
print(df)
请您参考如下方法:
首先,我会让你的函数返回输出数据:pbr、PEG。然后你可以这样做:
data = []
for stock in sp500short:
pbr, PEG = finvizKeyStats(stock)
data.append([pbr, PEG])
time.sleep(1)
pd.DataFrame(data, index=sp500short, columns=['pbr', 'PEG'])
