是否有任何解决方案可以加速从磁盘读取栅格数据并将其转换为 numpy 数组以供进一步处理?我真的很累,因为以下代码需要几天时间才能读取(并转换为 numpy 数组)数千个文件。
import glob, gdal, numpy as np
tiff_files = glob.glob('*.tif')
all_data = []
for f in tiff_files:
data_open = gdal.Open(f)
data_array = data_open.ReadAsArray().astype(np.float32)
all_data.append(data_array)
如何为上述情况应用多处理?
请您参考如下方法:
这并不难,因为您的 tiff_files 已经是一个列表,一个重要的问题是顺序是否重要 - 结果是否必须与原始文件的顺序相同。如果不是
from multiprocessing import Pool
from multiprocessing import cpu_count
def handle_tiff(some_file):
data_open = gdal.Open(some_file)
data_array = data_open.ReadAsArray().astype(np.float32)
return data_array
tiff_files = glob.glob('*.tif')
p = Pool(cpu_count()- an_integer)
all_data = p.map(handle_tiff, tiff_files)
在上面的代码中,您可以只使用 cpu_count 而无需减去整数。
在回答您的问题时,some_file 是列表 tiff_files 中的路径。请注意,p.map 将列表 tiff_files 中的每个项目映射到函数 handle_tiff 并生成一些线程。该列表被分成离散的 block ,每个 block 分配给不同的线程。然后将每个 block 中的文件路径依次提交给该函数。
