我正在尝试重现最近 article 中提到的设置在 Netflix 的产品 Vectorflow 上。
他们使用 Hive 中的 Parquet 文件作为数据源。我想用 scipy 的稀疏矩阵生成一些假数据。如何将这样的矩阵保存到 parquet 文件中?
请您参考如下方法:
您可以使用 Apache Arrow(Python 包名称为 pyarrow)编写 Parquet 文件:https://arrow.apache.org/docs/python/parquet.html
有一些存储pandas.DataFrames的便利函数,对于scipy稀疏矩阵,你可以使用其中的一些,但需要稍微调整一下。
使用 Apache Parquet 的重要一点是它是一种柱状、类似表格的格式,即它需要一个数组字典。您必须以这种形式携带您的矩阵。这在一定程度上取决于 Vectorflow 如何期望数据。
