我的流程正在处理被破坏的数据。我可以看出它已经用 UTF-8 进行了双重编码,但这只是故事的一半。双解码 仅适用于单字节(拉丁语)代码点并且通过 UTF-8 毫发无损地传递。双字节(或更大)代码点不能使用 .decode('utf-8').encode('raw_unicode_escape').decode('utf-8')
我有一个示例可以帮助解决这个问题。我遇到的其中一个问题是:
'\xc3\x82\xc2\xa9\xc3\x82\xc2\xae\xc3\xa2\xe2\x80\x9e\xc2\xa2'
这应该解析为:
u'\xa9\xae\u2122'
(c) 和 (r) 符号的前两个代码点不需要代理对,因此非常明显地存在于原始字节中。但是,最后一个字符 (tm) 符号是一个 16 位代码点,并且会被执行此操作的任何进程破坏。
如果我在那之前截断字符串,那么我可以成功地进行双重解码:
'\xc3\x82\xc2\xa9\xc3\x82\xc2\xae'.decode('utf-8').encode('raw_unicode_escape').decode('utf-8')
但是,这不适用于整个字符串,因为第一次解码的结果是:
u'\xc2\xa9\xc2\xae\xe2\u201e\xa2'
任何人都可以指出我解决这个问题的正确方向吗?在此期间,我会继续研究这个问题,看看我是否能弄明白。
请您参考如下方法:
好吧,在我想出解决方案之前,我基本上只需要对编码进行一些猜测。问题是数据也是 cp1252 编码的(可能是因为数据来自 Windows 系统)。解决方案是调用 .decode('utf-8').encode('cp1252').decode('utf-8') 和瞧:
>>> raw = '\xc3\x82\xc2\xa9\xc3\x82\xc2\xae\xc3\xa2\xe2\x80\x9e\xc2\xa2'
>>> print raw.decode('utf-8').encode('cp1252').decode('utf-8')
©®™
我希望其他人在遇到这个问题时得到帮助!
发现这个也有帮助:
https://gist.github.com/litchfield/1282752/653b0c1944741ac90ca9c63c25ee3c2f609b323b
