所以我计划使用 GCP Composer 来运行几个 Hive 作业。
将 Hive 与 Dataproc 结合使用是否是实现此目的的最佳方式?
为此应该将数据存储在哪里? Dataproc 可以从 Google Cloud Storage 存储桶中读取数据吗?
请您参考如下方法:
您可以通过几种方式在 Dataproc 中提交 Hive 作业。
YES dataproc 从 google bucket 读取数据。我已经回答了这个问题HERE
您可以在 dataporc 中提交您的配置单元作业的方法很少。
1) 您可以通过选择查询选项直接给出命令。
2) 您可以选择查询文件选项,然后提及位置文件(谷歌存储)。例如 Here
现在回答您的第一个问题,将 hive 与 Dataproc 结合使用是否是执行此操作的最佳方法? -
这完全取决于您的要求。有很多工作可供选择,您必须根据自己的要求进行选择,因此这是最好的。如果您可以详细说明您的要求,我可以更清楚地回答这个问题。
我可以给您一个HIVE JOBS的要点,以便您进行整理您的要求。
您可以在 Hive 作业中执行以下操作:
- 您可以给出内联查询(一个或多个)
- 您可以从查询文件(一个或多个)中给出查询命令
- 您可以在配置单元中添加 jar 文件 - 可以用于任何目的,例如 UDF(一个或多个)
- 您可以添加其他属性来配置您的作业
- 您可以将工作自动化
这就是基本的 hive 工作。
Airflow Data Proc Documentation具有您可以使用的所有可用运算符。
