Skip to main content
 首页 » 编程设计

python之为什么我的PySpark程序会卡在中间如下

2025年05月04日35bhlsheji

我写了一个 PySpark 程序,当我运行它时,它打印了很多输出然后突然挂起并在屏幕上显示以下语句

[Stage 11:===================================>                   (65 + 1) / 100] 

它根本没有从这里开始。是程序真的结束了还是这里出了什么问题?

请您参考如下方法:

当您使用 Apache Spark 时,这很常见,可能有几个问题或异常没有显示在终端中,但是要调试它,您可以阅读运行时发生的情况,但是 取决于您当前安装的 Apache Spark(这就是我不发布链接的原因),您可以在此文档上找到更多信息。 Monitoring and Logging in Apache Spark

你必须搜索这个WebUI,在Description栏你可以点击+ details(你需要点击您将调试的作业),如果您继续前进,您会发现越来越多的信息。

Failing Job Details