如何在 python 3.5 中打开 .snappy.parquet 文件?到目前为止,我使用了这段代码:
import numpy
import pyarrow
filename = "/Users/T/Desktop/data.snappy.parquet"
df = pyarrow.parquet.read_table(filename).to_pandas()
但是,它给出了这个错误:
AttributeError: module 'pyarrow' has no attribute 'compat'
附言我是这样安装 pyarrow 的:
pip install pyarrow
请您参考如下方法:
我遇到了同样的问题,并按照 https://github.com/dask/fastparquet/issues/366 中提出的解决方案设法解决了它解决方案。
1) 使用 conda install 安装 python-snappy(由于某些原因,使用 pip install,我无法下载它)
2) 添加snappy_decompress函数。
from fastparquet import ParquetFile
import snappy
def snappy_decompress(data, uncompressed_size):
return snappy.decompress(data)
pf = ParquetFile('filename') # filename includes .snappy.parquet extension
dff=pf.to_pandas()
