Skip to main content
 首页 » 编程设计

python之Paramiko 模块的 sftp.get() 设置时间限制

2025年04月02日8thcjp

我正在使用 Paramiko 的 SFTP 客户端将文件从远程服务器下载到客户端(即获取操作)
要传输的文件有点大~1GB。
因此,如果时间超过 10 秒,我希望 get 操作超时。

但是设置connect的超时值不起作用,它似乎只是创建SSH连接的超时而不是整个ssh连接的超时。

ssh = paramiko.SSHClient() 
ssh.set_missing_host_key_policy(paramiko.AutoAddPolicy()) 
ssh.connect(host, username=username, password=password, timeout=10.0) 
sftp = ssh.open_sftp() 
start_time = time.time() 
sftp.get(local_path,remote_path) 
elapsed_time = time.time()-start_time 
print elapsed_time 
sftp.close() 

我也试过为 channel 设置超时值,但它也不起作用

sftp.get_channel.settimeout(10.0) 

但是这个超时只是针对读/写操作

有个类似的问题Timeout in paramiko (python)但它只有在创建 SSH 连接时超时的答案


更新 1:根据@Martin 的评论,我实现了一个回调函数,用于检查 sftp 获取操作的时间限制:

import paramiko 
import time 
 
Class TimeLimitExceeded(Exception): 
    pass 
 
timelimit = 10 
start_time = time.time() 
 
def _timer(): 
    elapsed_time = time.time()-start_time 
    if elapsed_time > timelimit: 
        raise TimeLimitExceeded 
 
ssh = paramiko.SSHClient() 
ssh.set_missing_host_key_policy(paramiko.AutoAddPolicy()) 
ssh.connect(host, username=username, password=password, timeout=10.0) 
sftp = ssh.open_sftp() 
try: 
    sftp.get(local_path,remote_path,_timer) 
except TimeLimitExceeded: 
    print "The operation took too much time to complete" 
sftp.close() 

但是排除异常的时间很多,代码在某处阻塞。 我深入研究了 Paramiko 源代码,发现它背后的罪魁祸首是 sftp_file.py 的 _close(self,async=False) 方法 有什么办法可以解决这个问题吗?


更新 2:如果超过时间限制,尝试自行关闭 channel 。 然后异常被刷新到控制台,因为 prefetch 是由单独的守护线程实现的

 File "/scratch/divjaisw/python2.7/lib/python2.7/threading.py", line 801, in __bootstrap_inner 
    self.run() 
  File "/scratch/divjaisw/python2.7/lib/python2.7/threading.py", line 754, in run 
    self.__target(*self.__args, **self.__kwargs) 
  File "/scratch/divjaisw/python_virtual/lib/python2.7/site-packages/paramiko/sftp_file.py", line 488, in _prefetch_thread 
    num = self.sftp._async_request(self, CMD_READ, self.handle, long(offset), int(length)) 
  File "/scratch/divjaisw/python_virtual/lib/python2.7/site-packages/paramiko/sftp_client.py", line 754, in _async_request 
    self._send_packet(t, msg) 
  File "/scratch/divjaisw/python_virtual/lib/python2.7/site-packages/paramiko/sftp.py", line 170, in _send_packet 
    self._write_all(out) 
  File "/scratch/divjaisw/python_virtual/lib/python2.7/site-packages/paramiko/sftp.py", line 133, in _write_all 
    n = self.sock.send(out) 
  File "/scratch/divjaisw/python_virtual/lib/python2.7/site-packages/paramiko/channel.py", line 715, in send 
    return self._send(s, m) 
  File "/scratch/divjaisw/python_virtual/lib/python2.7/site-packages/paramiko/channel.py", line 1081, in _send 
    raise socket.error('Socket is closed') 
error: Socket is closed 

请您参考如下方法:

您要求的并不是真正的超时。术语“超时”用于限制等待响应。

但是您的服务器并没有停止响应。通讯活跃。


您所要求的是对操作持续时间的限制。您很难期望这会很容易地为您实现。这是一个特定的要求。您必须自己实现。

您可以使用 get method 的 callback 参数:

def get(self, remotepath, localpath, callback=None): 

在回调中,检查传输的持续时间,如果时间限制到期则抛出异常。

有关示例,请参阅 How to timeout Paramiko sftp.put() with signal module or other in Python?

这不会立即取消转移。为了优化传输性能,Paramiko 将最多 100 个读取请求排队到服务器(参见 condition in the sftp_file._write)。一旦您尝试取消传输,Paramiko 必须等待(最多 100 个)对这些请求的响应以清除队列。