我正在尝试制作一个通过 tor 请求 url 的机器人。我已经配置了 tor。 下面是python代码。
import pycurl
curl = pycurl.Curl()
curl.setopt(pycurl.URL, URL)
curl.setopt(pycurl.PROXY, '127.0.0.1')
curl.setopt(pycurl.PROXYPORT, 9050)
curl.setopt(pycurl.PROXYTYPE, pycurl.PROXYTYPE_SOCKS5_HOSTNAME)
curl.perform()
它给出 html 文件,访问被拒绝 | url 使用 cloudflare 限制访问。
但是当通过配置了tor的浏览器访问相同的url时,该url访问成功。
有没有办法使用 python 脚本访问 URL?
谢谢
请您参考如下方法:
改变pycurl的user_agent,比如:
curl.setopt(pycurl.USERAGENT, 'Mozilla/5.0 (Windows NT 6.1; WOW64; rv:8.0) Gecko/20100101 Firefox/8.0')
