Skip to main content
 首页 » 编程设计

python之Dask 的 imread 返回 MemoryError之在导入时更改 block 大小

2025年01月19日11tuyile006

我有一系列 *.tiff 电影,它们对于 numpy 来说太大了,无法处理 (shape = (1, 9000, 512, 512)) 并且看起来像 dask。 array.image.imread 可以处理这个(根据这个问题的答案:out of core 4D image tif storage as hdf5 python)。

创建数组时,dask.array.image.imread 在尝试导入任何大文件时给出 MemoryError。但是,它确实适用于 shape = (1, 20, 512, 512) 的较小文件堆栈,因此我认为它一定与 block 大小有关。我试图查看是否可以在 imread 中导入时更改 block 大小,但我没有找到任何东西。

当 dask 自己的 imread 不起作用时,我尝试了 dask_imread package ,它似乎有能力将帧分成 block 。有趣的是,它在创建数组时给了我一个 RuntimeWarning,但是 print(foo_array) 仍然返回

dask.array<from-value, shape=(1, 9000, 512, 512), dtype=uint16, chunksize=(1, 9000, 512, 512)> 

整个文件的 block 大小。
尝试 .rechunk((1,20,512,512)) 返回

dask.array<rechunk-merge, shape=(1, 9000, 512, 512), dtype=uint16, chunksize=(1, 20, 512, 512)> 

正如预期的那样。

然而,当在数组的任何元素上运行 .compute() 时,例如 print(foo_array[0,1234,123,123].compute()) 给出内存错误。
我尝试导入为 foo_array = imread(file_to_use,chunksize=(1,20,512,512)) 但似乎 imread 都没有将 chunksize 作为一个矮人。

如何在 imread 中将导入时的 block 大小更改为例如 (1,20,512,512)(这似乎是可管理的)?

请您参考如下方法:

我怀疑 dask.array.imread 处理许多小图像的堆栈比处理单个大图像更好。如果您知道如何只读取大图像的一部分,那么我建议您使用 dask.delayed 和 dask.array.from_delayed 创建您自己的数据读取函数。这篇博文可能提供了一个不错的例子:http://matthewrocklin.com/blog/work/2017/01/17/dask-images