Skip to main content
 首页 » 编程设计

python之将字符编码映射到每个字符的最大字节数

2025年05月04日1098°冷暖

我正在寻找一个表,该表将给定的字符编码映射到每个字符的(最大,在可变长度编码的情况下)字节数。对于固定宽度的编码,这很容易,但我不知道,在一些更深奥的编码的情况下,宽度是多少。对于 UTF-8 等,最好根据字符串中的最高代码点确定每个字符的最大字节数,但这并不那么紧迫。

对于一些背景(如果你不熟悉 Numpy,你可以忽略它,我正在为一个 ndarray 子类开发一个原型(prototype),它可以以一定的透明度表示编码字节数组(包括纯 ASCII ) 作为 unicode 字符串的数组,而不是立即将整个数组转换为 UCS4。这个想法是底层 dtype 仍然是一个 S<N> dtype,其中 <N> 是(最大)数量数组中每个字符串的字节数。但是项目查找和字符串方法使用正确的编码即时解码字符串。可以看到一个非常粗略的原型(prototype) here ,尽管最终这部分可能会在 C 中实现。最重要的对于我的用例来说,最重要的是有效使用内存,而重复解码和重新编码字符串是可以接受的开销。

无论如何,因为底层 dtype 以字节为单位,所以它不会告诉 用户 任何关于可以写入给定编码文本数组的字符串长度的有用信息。因此,如果没有别的,拥有这样一个任意编码的映射对于改进用户界面将非常有用。

注意:我在此处找到了对 特定 Java 的基本相同问题的答案:How can I programatically determine the maximum size in bytes of a character in a specific charset?但是,我无法在 Python 中找到任何等效项,也找不到有用的信息数据库来实现我自己的数据库。

请您参考如下方法:

蛮力法。遍历所有可能的 Unicode 字符并跟踪使用的最大字节数。

def max_bytes_per_char(encoding): 
    max_bytes = 0 
    for codepoint in range(0x110000): 
        try: 
            encoded = chr(codepoint).encode(encoding) 
            max_bytes = max(max_bytes, len(encoded)) 
        except UnicodeError: 
            pass 
    return max_bytes 
 
 
>>> max_bytes_per_char('UTF-8') 
4