Skip to main content
 首页 » 编程设计

python之如何将 scipy 稀疏矩阵保存到 Parquet 文件中

2025年02月15日898°冷暖

我正在尝试重现最近 article 中提到的设置在 Netflix 的产品 Vectorflow 上。

他们使用 Hive 中的 Parquet 文件作为数据源。我想用 scipy 的稀疏矩阵生成一些假数据。如何将这样的矩阵保存到 parquet 文件中?

请您参考如下方法:

您可以使用 Apache Arrow(Python 包名称为 pyarrow)编写 Parquet 文件:https://arrow.apache.org/docs/python/parquet.html

有一些存储pandas.DataFrames的便利函数,对于scipy稀疏矩阵,你可以使用其中的一些,但需要稍微调整一下。

使用 Apache Parquet 的重要一点是它是一种柱状、类似表格的格式,即它需要一个数组字典。您必须以这种形式携带您的矩阵。这在一定程度上取决于 Vectorflow 如何期望数据。