Skip to main content
 首页 » 编程设计

python之如何在 python 中打开 .snappy.parquet 文件

2024年12月31日20over140

如何在 python 3.5 中打开 .snappy.parquet 文件?到目前为止,我使用了这段代码:

import numpy 
import pyarrow 
 
filename = "/Users/T/Desktop/data.snappy.parquet"  
df = pyarrow.parquet.read_table(filename).to_pandas() 

但是,它给出了这个错误:

AttributeError: module 'pyarrow' has no attribute 'compat' 

附言我是这样安装 pyarrow 的:

pip install pyarrow 

请您参考如下方法:

我遇到了同样的问题,并按照 https://github.com/dask/fastparquet/issues/366 中提出的解决方案设法解决了它解决方案。

1) 使用 conda install 安装 python-snappy(由于某些原因,使用 pip install,我无法下载它)

2) 添加snappy_decompress函数。

from fastparquet import ParquetFile 
import snappy 
def snappy_decompress(data, uncompressed_size): 
    return snappy.decompress(data) 
pf = ParquetFile('filename') # filename includes .snappy.parquet extension 
dff=pf.to_pandas()