我有一个 Spark 批处理代码(基本上是模型训练)，我使用来自 AWS EMR 集群的 spark-submit 执行。现在我希望能够在每天的特定时间启动这项工作。 这样做的标准方法是什么？ 我应该更改代码并在代码中添加调度吗？或者有什么方法可以安排 spark-submit 作业？ 或者也许我应该将其作为每 24 小时执行一次的 Spark Streaming 作业？(尽管我对特定时间段感兴趣，即晚上 11:00 到中午 12 点之间)
请您参考如下方法:
如果您使用的是 Linux，您可以设置一个 Cron 作业来调用 spark-submit 脚本 http://kvz.io/blog/2007/07/29/schedule-tasks-on-linux-using-crontab/
