Skip to main content
 首页 » 编程设计

python之在 Spark 中堆叠 ML 算法

2024年08月14日36三少

是否有一个 spark api 可以在 spark 中构建堆叠合奏,还是应该从头开始构建它们?我还没有在网上找到关于这个主题的任何资源

请您参考如下方法:

正如 AKSW 的评论中所说,在当前的 Apache Spark MLlib 中,只有两个特定的集成模型实现,即 Random Forests用于装袋和 Gradient Boosted Trees用于提升。

对于堆叠部分,我认为您在 MLlib 上找不到任何东西,您必须自己完成:

  1. 创建一个函数来生成一个 Pipeline,该 Pipeline 将通过添加带有向量组装器和最终堆叠算法的基础学习器来进行堆叠
  2. 创建一个将您的基础学习器和堆叠算法作为参数的元估计器

第二个很方便,因为它可以与所有 MLlib 工具一起使用 Tuning Tools

对于第二个解决方案,我制作了一个包含提升、装袋和堆叠元估计器的库:spark-ensemble

您可以从中获取一些实现思路!