当我尝试时:
from pyspark import SparkContext, SparkConf
sc=SparkContext()
我得到:
KeyError: 'SPARK_HOME'
解决方案是什么?
请您参考如下方法:
pyspark
依赖于 spark开发工具包。在使用 pyspark
之前,您需要安装它。
设置完成后,您需要设置环境变量 SPARK_HOME
以告知 pyspark
到哪里寻找您的 spark
安装。如果您使用的是 *nix 系统,您可以通过将以下内容添加到您的 .bashrc
export SPARK_HOME=<location of spark install>
如果您使用的是 Windows,则有一种通过 GUI 设置变量的复杂方法 here .通过 DOS,您可以使用 set
代替 export
:
SET SPARK_HOME=<location of spark install>