Skip to main content
 首页 » 编程设计

尝试从 SFTP 服务器流式传输文件时出现 Python Paramiko UTF-8 错误

2024年12月31日8bonelee

我有一个程序,我在其中使用 Paramiko 从 SFTP 服务器获取文件。最初我是使用 get 在本地提取文件,然后通过打开本地副本来处理文件。但是,我试图避免 get 并只是将文件作为流读取。在我遇到非 UTF-8 的字符(例如 <96>)之前,这一切正常。发生这种情况时程序会出现异常。问题发生在线路上:

for line in remote_file 

所以我无法从流中获取数据。我已经看到提到解码和重新编码,但我没有看到任何方法可以做到这一点,因为 Paramiko 没有给我数据。

是否有一个 Paramiko 参数说明要做什么或提供某种方法来获取原始数据?我该如何解决这个问题?

下面是正在处理的代码——前 3 行建立连接。然后我有一些代码(未显示),我在其中过滤目录以找到我关心的文件列表。倒数第二行打开与 SFTP 服务器上文件的连接。最后一行是错误发生的地方 - 我在整个代码块周围有一个 try block 。当异常被命中时,返回的错误是

UnicodeDecodeError: 'utf-8' codec can't decode byte 0x96 in position 124: invalid start byte

ftpTransport = paramiko.Transport((FTPSERVER, FTPPORT)) 
ftpTransport.connect(username=FTPUSERNAME, password=FTPPASSWORD) 
sftp = paramiko.SFTPClient.from_transport(ftpTransport) 
remote_file = sftp.open(remoteName) 
for line in remote_file: 

如果我执行 sftp.get 然后打开本地文件,我不会收到 UTF-8 错误。现在我已经更改了我的代码以执行该步骤,但如果不需要,我宁愿不在本地复制文件。

请您参考如下方法:

Paramiko 假定所有文本文件都是 UTF-8 并使用“严格”解码(出现任何错误都会中止)。

要解决这个问题,您可以在“二进制”模式下打开文件。然后,next()、readline() 等,将返回“二进制字符串”,您可以使用任何您喜欢的编码对其进行解码,或使用 UTF-8 进行解码忽略错误:

remote_file = sftp.open(remoteName, "rb") 
for line in remote_file: 
    print(line.decode("utf8", "ignore"))