Skip to main content
 首页 » 编程设计

python之在 python 3 中使用非 ascii 字符进行编码/解码时出现问题

2024年12月31日8kevingrace

我正在尝试使用 python3 unicode_escape 转义我的字符串中的\n,但挑战是整个字符串中存在非 ascii 字符,如果我使用 utf8 编码然后使用 unicode_escape 解码字节,那么特殊字符会出现乱码。有没有办法让\n 换行转义而不混淆特殊字符?

s = "hello\\nworld└--" 
print(s.encode('utf8').decode('unicode_escape')) 
 
Expected Result: 
hello 
world└-- 
 
Actual Result: 
hello 
worldâ-- 

请您参考如下方法:

正如用户 wowcha 所观察到的,unicode-escape 编解码器采用 latin-1 编码,但您的字符串包含一个不可编码为 latin- 的字符1。

>>> s = "hello\\nworld└--" 
>>> s.encode('latin-1') 
Traceback (most recent call last): 
  File "<stdin>", line 1, in <module> 
UnicodeEncodeError: 'latin-1' codec can't encode character '\u2514' in position 12: ordinal not in range(256) 

将字符串编码为 utf-8 可以解决编码问题,但会导致 mojibake从 unicode-escape

解码时

解决方案是使用 backslashreplace编码时的错误处理程序。这会将问题字符转换为可以编码为 latin-1 的转义序列,并且在从 unicode-escape 解码时不会被破坏。

>>> s.encode('latin-1', errors='backslashreplace') 
b'hello\\nworld\\u2514--' 
 
>>> s.encode('latin-1', errors='backslashreplace').decode('unicode-escape') 
'hello\nworld└--' 
 
>>> print(s.encode('latin-1', errors='backslashreplace').decode('unicode-escape')) 
hello 
world└--