两个问题:
- 如何在spark模块中运行python3？我运行
/bin/.pyspark，它会自动运行 Python 2.7。如何运行Python3？ - 在我运行 pyspark 后，它会弹出如下警告:16/12/29 17:33:37 WARN NativeCodeLoader:无法为您的平台加载 native-hadoop 库...在适用的情况下使用内置 java 类 这是否意味着我下载了错误的 spark 平台？
我正在使用 MacProBook。谢谢。
请您参考如下方法:
按照以下步骤:
1 次:
PYSPARK_PYTHON=python3 ./bin/pyspark
每次:
>>>cd
>>>vim .bashrc
在文件末尾添加这两行并保存文件。
导出 PYSPARK_PYTHON=/usr/bin/python3
导出 PYSPARK_DRIVER_PYTHON=python3
退出文件后，获取 .bashrc 文件以反射(reflect)更改。
>>>source .bashrc
现在当您启动 spark 时，它将使用 Python3。
阅读此内容以了解您的第二个错误。它与 32 位与 64 位源代码编译有关:
Hadoop "Unable to load native-hadoop library for your platform" warning
