我在使用 Python 时遇到了一个奇怪的问题。
如果我在我的本地 python 机器上运行这个带有西里尔文字的脚本,它会正常工作。但是,如果我在 Dataproc 上将它作为 Spark 作业运行,它会打印出非常不同的内容。
str1 = 'Кровати'
print(str1)
我本地 python 的输出是 Кровати 在 Dataproc 上它是
这就是问题的核心。我需要这个的真正原因是我在数据中有很多俄语单词,然后即使字符串应该相同,从 BQ 加载的数据与配置中的单词之间的比较也不起作用。
感谢您的帮助
请您参考如下方法:
我认为这是因为你的源代码的编码,在你的本地机器上默认编码设置正确,但它与 Dataproc PySpark 的默认设置不同。可以关注https://www.python.org/dev/peps/pep-0263/明确设置源代码的编码。
