Skip to main content
 首页 » 编程设计

python之Apache-spark之在 Windows 上启动 pyspark 时出错

2025年02月15日32pander-it

我正在尝试在 Windows 上运行 pyspark。但是,我收到以下错误:

c:\spark>pyspark 
Python 3.6.0 |Anaconda 4.3.1 (64-bit)| (default, Dec 23 2016, 11:57:41) [MSC  
v.1900 64 bit (AMD64)] on win32 
Type "help", "copyright", "credits" or "license" for more information. 
Traceback (most recent call last): 
File "C:\spark\bin\..\python\pyspark\shell.py", line 38, in <module> 
   SparkContext._ensure_initialized() 
File "C:\spark\python\pyspark\context.py", line 259, in _ensure_initialized 
   SparkContext._gateway = gateway or launch_gateway(conf) 
File "C:\spark\python\pyspark\java_gateway.py", line 80, in launch_gateway 
   proc = Popen(command, stdin=PIPE, env=env) 
File "C:\Users\shuzhe\Anaconda3\lib\subprocess.py", line 707, in __init__ 
   restore_signals, start_new_session) 
File "C:\Users\shuzhe\Anaconda3\lib\subprocess.py", line 990, in _execute_child 
startupinfo) 
PermissionError: [WinError 5] Access is denied 

我已经搜索了几个小时,但找不到解决此问题的方法。任何帮助是极大的赞赏!

谢谢!

请您参考如下方法:

您好,我遇到了同样的问题。我放弃了之前使用 cygwin tar 创建的 SPARK_HOME 文件夹(在我的例子中是 C:\spark-2.4.3-bin-hadoop2.7) 并尝试再次解压缩文件夹(来自 spark-2.4.3-bin-hadoop2.7.tgz),但这次使用 7zip 而不是 cygwin tar 然后问题就消失了。请注意,对于 7zip,解包分两步完成,首先从 ...tgz 中提取 ...tar,然后提取...tar

中的整个目录树

Internet 上的一些其他讨论(例如 here)表明问题是由于 cygwin tar 获得了一些权限错误。这个解释和我上面测试和体验的是一致的。