Skip to main content
 首页 » 编程设计

python之key 错误 : 'SPARK_HOME' in pyspark

2024年10月24日2小虾米

当我尝试时:

from pyspark import SparkContext, SparkConf 
sc=SparkContext() 

我得到:

KeyError: 'SPARK_HOME' 

解决方案是什么?

请您参考如下方法:

pyspark 依赖于 spark开发工具包。在使用 pyspark 之前,您需要安装它。

设置完成后,您需要设置环境变量 SPARK_HOME 以告知 pyspark 到哪里寻找您的 spark 安装。如果您使用的是 *nix 系统,您可以通过将以下内容添加到您的 .bashrc

来实现
export SPARK_HOME=<location of spark install> 

如果您使用的是 Windows,则有一种通过 GUI 设置变量的复杂方法 here .通过 DOS,您可以使用 set 代替 export:

SET SPARK_HOME=<location of spark install>