因为我的 ipython3 笔记本中有这个问题，我想我必须以某种方式更改“spark-env.sh.template”。
异常:worker 中的 Python 版本 2.7 与驱动程序 3.4 中的版本不同，PySpark 无法在不同的次要版本下运行
请您参考如下方法:
Spark 尚不能与 Python 3 一起使用。如果您希望使用 Python API，您还需要一个 Python 解释器(2.6 或更新版本)。
我在运行 IPYTHON=1 ./pyspark 时遇到了同样的问题。
好的快速修复
编辑 vim pyspark 并将 PYSPARK_DRIVER_PYTHON="ipython" 行更改为
PYSPARK_DRIVER_PYTHON="ipython2"
就是这样。
如果你想检查 dose ipython 指向哪里，
在终端中输入 which ipython 我敢打赌
/Library/Frameworks/Python.framework/Versions/3.4/bin/ipython
**已更新**
最新版本的 spark 与 python 3 配合得很好。所以这可能不需要最新版本。
只需设置环境变量:
导出 PYSPARK_PYTHON=python3
如果您希望此更改是永久性的，请将此行添加到 pyspark 脚本
