我正在尝试使用 jupyter notebook 将一个相当大的 CSV 文件转换为 parquet 格式。但是,笔记本在尝试转换时会重新启动。
由于 dask 会增加内存大小并加载适合内存的数据 block ,因此在执行大于内存的数据集时不应发生此错误。 (内核崩溃背后的原因是内存过载)。我正在 dask 中的一台机器上运行这个内核。
代码如下。
import dask
import dask.dataframe as dd
from dask.distributed import Client
client = Client()
merchant = dd.read_csv('/home/michael/Elo_Merchant/merchants.csv')
merchant.to_parquet('merchants.parquet') # kernel restarts when run this line.
更新:
我使用终端运行同样的东西并得到了这个错误。
>>>merchant.to_parquet('merchants.parquet')
2019-03-06 13:22:29.293680: F tensorflow/core/platform/cpu_feature_guard.cc:37] The TensorFlow library was compiled to use AVX instructions, but these aren't available on your machine.
Aborted
$/usr/lib/python3.5/multiprocessing/semaphore_tracker.py:129: UserWarning: semaphore_tracker: There appear to be 12 leaked semaphores to clean up at shutdown
len(cache))
谁能帮我解决这个问题。
谢谢
迈克尔
请您参考如下方法:
我找到了问题的解决方案。我将 parquet 转换引擎更改为 fastparquet。代码如下。我以前只安装过 pyarrow。如果两者都安装了 fastparquet 将是默认引擎。尽管如此,我还是在代码中展示了,否则,它将与上面的代码相同。
import dask.dataframe as dd
merchant = dd.read_csv('/home/michael/Elo_Merchant/merchants.csv')
merchant.to_parquet('merchants.parquet', engine='fastparquet') #Works
希望对你有帮助
谢谢
迈克尔
