Skip to main content
 首页 » 编程设计

python之在 Python 中使用 glob.glob 和正则表达式与 unicode 文件名的文件系统独立方式

2025年05月04日7hnrainll

我正在开发一个我希望保持平台、文件系统和 Python2.x/3.x 独立的库。但是,我不知道如何以独立于平台/文件系统的方式对文件进行 glob 匹配并将文件名与正则表达式进行匹配。

例如(在 Mac 上,使用 IPython、Python 2.7):

   In[7]: from glob import glob 
   In[8]: !touch 'ü-0.é' # Create the file in the current folder 
 
   In[9]: glob(u'ü-*.é') 
  Out[9]: [] 
 
   In[10]: import unicodedata as U 
 
   In[11]: glob(U.normalize('NFD', u'ü-*.é')) 
  Out[11]: [u'u\u0308-0.e\u0301'] 

但是,这在 Linux 或 Windows 上不起作用,我需要 unicode.normalize('NFC', u'ü-*.é')。当我尝试将文件名与正则表达式进行匹配时,会出现同样的问题:只有在 Mac 上规范化为 NFD 的 unicode 正则表达式匹配文件名,而只有 NFC 正则表达式匹配在 Linux/Windows 上读取的文件名(我在这两种情况下都使用了 re.UNICODE 标志)。

是否有处理此问题的标准方法?

我希望就像 sys.getfilesystemencoding() 返回文件系统的编码一样,存在一个返回底层文件系统使用的 Unicode 规范化的函数。

但是,我既找不到这样的函数,也找不到对其进行功能测试的安全/标准方法。


Mac + HFS+ 使用 NFD 规范化:https://apple.stackexchange.com/a/10484

Linux + Windows 使用NFC规范化:http://qerub.se/filenames-and-unicode-normalization-forms

代码链接:https://github.com/musically-ut/seqfile/blob/feat-unicode/seqfile/seqfile.py

请您参考如下方法:

我假设你想匹配 unicode equivalent文件名,例如您希望 u'\xE9*' 的输入模式匹配文件名 u'\xE9qui' 和 u'e\u0301qui'任何操作系统,即字符级模式匹配。

你必须明白这不是 Linux 上的默认设置,其中字节被视为字节,并且在当前系统编码中并非每个文件名都是有效的 unicode 字符串(尽管 Python 3 使用 'surrogateescape' 错误处理程序来无论如何将它们表示为 str)。

考虑到这一点,这是我的解决方案:

def myglob(pattern, directory=u'.'): 
    pattern = unicodedata.normalize('NFC', pattern) 
    results = [] 
    enc = sys.getfilesystemencoding() 
    for name in os.listdir(directory): 
        if isinstance(name, bytes): 
            try: 
                name = name.decode(enc) 
            except UnicodeDecodeError: 
                # Filenames that are not proper unicode won't match any pattern 
                continue 
        if fnmatch.filter([unicodedata.normalize('NFC', name)], pattern): 
            results.append(name) 
    return results