我正在用 Python 编写一个将通过 Tor 运行的爬虫。我有 Tor 工作并使用了来自 this YouTube tutorial 的代码关于如何路由我的 Python 请求以通过位于 127.0.0.1:9050 的 Tor SOCKS 代理。
我想不通的是如何在我的脚本中打开/关闭它。有些请求我想通过 Tor,有些则不想。基本上,我无法在我正在使用的 socket 对象中找出正确的“关闭”或“关闭”方法,因为我不理解它们。
这是现在发生的事情
import socket
import socks
import requests
def connect_to_socks():
socks.setdefaultproxy(socks.PROXY_TYPE_SOCKS5, '127.0.0.1', 9050, True)
socket.socket = socks.socksocket
r = requests.get('http://wtfismyip.com/text')
print r.text #prints my ordinary IP address
connect_to_socks()
r = requests.get('http://wtfismyip.com/text')
print r.text #prints my Tor IP address
如何关闭到 SOCKS 代理的套接字路由,以便它通过我的普通互联网连接?
我希望使用 requests 而不是 urllib2 因为它看起来容易多了但是如果我必须进入 urllib2 甚至 httplib 我都会。但我宁愿不这样做。
请您参考如下方法:
通过听这个来弄清楚 good YouTube tutorial .
只需调用 socket.setdefaultproxy() 即可返回。
