python之当用 python 标记阿拉伯文本时，我得到奇怪的结果

我一直在与 NLTK 合作进行一项研究，以标记化阿拉伯语文本并对其进行分析。问题是当我执行此代码时:

bsm = 'بسم الله الرحمن الريحم' 
wordsBsm = nltk.tokenize.wordpunct_tokenize(anas) 
print " ".join(wordsBsm) 

我明白了:

� � س� � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � 

我不知道如何解决这个问题!

请您参考如下方法:

如果您使用的是 Python 2.x，那么正如 bobince 所说，这应该可行:

bsm = u'بسم الله الرحمن الريحم' 

如果您使用的是 Python 3.x，那么它应该可以工作而无需将“u”放在那里。看看Python 2's Unicode HOWTO了解更多详情。