我希望使用 zlib 压缩一个字符串,并将其作为字符串附加到文本消息中。我有几个问题:
一个。将“二进制”字符串与普通字符串组合起来有问题吗?例如,通过套接字发送如下所示的字符串是否有任何问题:
MSG 10=12 20=x\x9c+(\xc0\x00\x00S3\x08Q 33=hansz
我之所以这么问,是因为打开文件时通常会声明他是否打算以二进制模式读取,而我从来没有完全理解这一点。
我能确定某些字符不会出现在压缩后的字符串中吗?例如,如果压缩字符串包含一些字符序列,如 x\x9c 33=eve,我将无法正确解析消息。如果我知道空格永远不会出现在 zlib 压缩字符串中,我可以进行一些字符串拆分;如果我知道不会出现引号和撇号,我可能会使用 shlex split。
我的意图是使用 zlib.compress(str(obj)) 或 zlib.compress(pickle.dumps(obj)) 作为 pickle ,并使用 eval(zlib.decompress(s)) 或 pickle.loads(zlib.decompress(s)) 用于解压。你觉得有道理吗?第一个想法不太安全(因为 eval 永远不会那么安全),但它是一个内部系统,所以我同意,另一方面,大多数情况下压缩时间更短情况下,一样快。您认为这是一个好的做法吗?
我希望这些消息简短的原因是我希望稍后通过套接字发送它们。我不精通套接字,但是,我知道它们倾向于读取小的(4k?)缓冲区,所以我尽量让我的消息不超过这个长度。
请您参考如下方法:
一个。结合字节和 unicode 字符串的问题如下:有比 255 更多的字母。因此,历史上,创建了数百种编码来将不同的字母放入一个字节中。
>>> print b'\xE4'.decode('cp1251') # russian d
д
>>> print b'\xE4'.decode('cp1252') # german ae
ä
字母有不同的含义。为了不丢失这些字母的含义,您可以使用 unicode。
>>> print u'\u00e4\u0434'
äд
但是,当您看到字节时,您可能不知道编码。所以你不能直接组合 unicode 和字节,因为一个字节可能是不同的字母。
使用 'UTF-8' 作为 future 几年的编码。如果需要,它会使用一个以上的字节并存储所有字母。
zlib 获取字节并输出字节。它可以包含任何字节。
zlib.compress(pickle.dumps(obj)) 和 pickle.loads(zlib.decompress(s)) 完全没问题。 Pickle 获取对象并返回字节。与 zlib.compress(repr(obj)) 和 eval(zlib.decompress(s)) 相比,您可以保存和存储更多的对象。 pickle 与 eval 一样安全。如果您需要保存评估,请查看 import ast ast.literal_eval 或使用 json 而不是 pickle。
确保知道一条消息何时结束以及另一条消息何时开始。我认为您可以为此使用 zlib.decompressobj。否则 zib 可能会混淆。套接字可以发送超过 4k 字节的数据。缓冲区意味着套接字最多可保存 4k 字节,并且在您从缓冲区中取出字节之前不想接收更多字节。如果您使用 TCP,您可以发送无穷无尽的字节流而不会丢失任何内容。
