Skip to main content
 首页 » 编程设计

python之在没有 Spark 集群的情况下运行 Azure Databricks

2024年09月07日32qq78292959

我已经使用 Domino Data Lab 一段时间了,我能够在一台机器上启动 Python 或 R session ,而无需使用 Spark。

是否可以对 Azure Databricks 做同样的事情?也就是说,要在没有 Spark(和集群)的情况下使用 Python 启动笔记本 session ?

请您参考如下方法:

你总是要有一个“集群”,但它可以是一个单节点集群(只有一个驱动节点)。对于此配置,将工作程序节点数设置为零。您无法在仅驱动程序集群上运行 Spark。见下文example在仅驱动程序集群上使用 MXNet。

September 2020 platform release 提供的另一个选项是Single Node Cluster . 您可以在集群模式中选择“单节点”来创建单节点集群,Spark 以本地模式运行。