有没有一种方法可以使用 python 将文本数据写入带有 hadoop-streaming 的 parquet 文件。
基本上,我有一个字符串从我的 IdentityMapper 发出,我想将其存储为 Parquet 文件。
输入或示例将非常有帮助
请您参考如下方法:
我怀疑没有使用内置 Hadoop Streaming 来执行此操作的内置方法(我找不到),但是,根据您的数据集,您可以使用第 3 方包作为
https://github.com/whale2/iow-hadoop-streaming
要从 JSON 生成 Parquet,您的流式代码会输出 json 并与 AVRO 架构一起,您可以使用 ParquetAsJsonOutputFormat 编写 Parquet。
请注意,在这个阶段,上面的包有一些限制(比如只能使用原始类型等)。
根据您的数据的性质,您也可以使用 Kite SDK 来进行简要说明:
https://dwbigdata.wordpress.com/2016/01/31/json-to-parquet-conversion/
这里:
https://community.cloudera.com/t5/Kite-SDK-includes-Morphlines/JSON-to-Parquet/td-p/20630
干杯
