Skip to main content
 首页 » 编程设计

python之如何修复 Python 中的双重编码和损坏的字符串

2025年01月19日22lyhabc

我的流程正在处理被破坏的数据。我可以看出它已经用 UTF-8 进行了双重编码,但这只是故事的一半。双解码 仅适用于单字节(拉丁语)代码点并且通过 UTF-8 毫发无损地传递。双字节(或更大)代码点不能使用 .decode('utf-8').encode('raw_unicode_escape').decode('utf-8')

我有一个示例可以帮助解决这个问题。我遇到的其中一个问题是:

'\xc3\x82\xc2\xa9\xc3\x82\xc2\xae\xc3\xa2\xe2\x80\x9e\xc2\xa2' 

这应该解析为:

u'\xa9\xae\u2122' 

(c) 和 (r) 符号的前两个代码点不需要代理对,因此非常明显地存在于原始字节中。但是,最后一个字符 (tm) 符号是一个 16 位代码点,并且会被执行此操作的任何进程破坏。

如果我在那之前截断字符串,那么我可以成功地进行双重解码:

'\xc3\x82\xc2\xa9\xc3\x82\xc2\xae'.decode('utf-8').encode('raw_unicode_escape').decode('utf-8') 

但是,这不适用于整个字符串,因为第一次解码的结果是:

u'\xc2\xa9\xc2\xae\xe2\u201e\xa2' 

任何人都可以指出我解决这个问题的正确方向吗?在此期间,我会继续研究这个问题,看看我是否能弄明白。

请您参考如下方法:

好吧,在我想出解决方案之前,我基本上只需要对编码进行一些猜测。问题是数据也是 cp1252 编码的(可能是因为数据来自 Windows 系统)。解决方案是调用 .decode('utf-8').encode('cp1252').decode('utf-8') 和瞧:

>>> raw = '\xc3\x82\xc2\xa9\xc3\x82\xc2\xae\xc3\xa2\xe2\x80\x9e\xc2\xa2' 
>>> print raw.decode('utf-8').encode('cp1252').decode('utf-8') 
©®™ 

我希望其他人在遇到这个问题时得到帮助!

发现这个也有帮助:

https://gist.github.com/litchfield/1282752/653b0c1944741ac90ca9c63c25ee3c2f609b323b