Skip to main content
 首页 » 编程设计

python之使用并行 NetCDF 保存分布式 3D 复数组

2024年11月24日9yjmyzz

我有一个用 Fortran 编写的基于 MPI 的程序,它在每个节点(2D 时间序列的部分)生成复杂数据的 3D 数组。我想使用并行 I/O 将这些数组写入单个文件,该文件可以相对容易地在 python 中打开以进行进一步分析/可视化。理想情况下,我希望解决方案具有内存效率(即避免创建中间临时数组)。

使用 NetCDF,我成功地改编了一个 subroutine这对于实数的 3D 数组实现了这一点。但是,在涉及复杂数组时,我遇到了绊脚石。

在下面的代码中,我尝试通过创建一个由两个实数组成的复合数据类型并假设 Fortran 复数数据类型的实部和虚部连续存储在3D阵列。

 module IO 
 
    use NetCDF 
    use, intrinsic :: iso_fortran_env, only: dp => real64 
 
    implicit none 
 
    contains 
 
        subroutine output_3D(dataname, starts, ends, global_data_dims, & 
            local_data, MPI_communicator) 
 
        character(len=*), intent(in) :: dataname 
        integer, dimension(3), intent(in) :: starts 
        integer, dimension(3), intent(in) :: ends 
        integer, dimension(3), intent(in) :: global_data_dims 
 
        complex(dp), intent(in) :: local_data(   1:(ends(1) - starts(1)+ 1), & 
                                                1:(ends(2) - starts(2) + 1), & 
                                                1:(ends(3) - starts(3) + 1)) 
 
        integer, dimension(3) :: expanded_starts 
 
        integer, intent(in) :: MPI_communicator 
 
        integer :: ncid, varid, dimid(3) 
        integer :: counts(3) 
 
        integer :: typeid 
 
        expanded_starts(1) = (starts(1))* 2 + 1 
        expanded_starts = starts(2)  
        expanded_starts(3) = starts(3) 
 
        call check(nf90_create( trim(dataname)//'.cdf', & 
                                IOR(NF90_NETCDF4, NF90_MPIIO), & 
                                ncid, & 
                                comm = MPI_communicator, & 
                                info = MPI_INFO_NULL)) 
 
        call check(nf90_def_dim(ncid, "x", global_data_dims(1), dimid(1))) 
        call check(nf90_def_dim(ncid, "y", global_data_dims(2) * 2, dimid(2))) 
        call check(nf90_def_dim(ncid, "z", global_data_dims(3), dimid(3))) 
 
        ! define a complex data type consisting of two real(8) 
        call check(nf90_def_compound(ncid, 16, "COMPLEX", typeid)) 
        call check(nf90_insert_compound(ncid, typeid, "REAL", 0, NF90_DOUBLE)) 
        call check(nf90_insert_compound(ncid, typeid, "IMAG", 8, NF90_DOUBLE)) 
 
        ! define a 3D variable of type "complex" 
        call check(nf90_def_var(ncid, dataname, typeid, dimid, varid)) 
 
        ! exit define mode 
        call check(nf90_enddef(ncid)) 
 
        ! Now in NETCDF data mode 
 
        ! set to use MPI/PnetCDF collective I/O 
        call check(nf90_var_par_access(ncid, varid, NF90_COLLECTIVE)) 
 
        counts(1) = (ends(1) - starts(1) + 1) * 2 
        counts(2) = (ends(2) - starts(2) + 1) 
        counts(3) = (ends(3) - starts(3) + 1) 
 
        call check(nf90_put_var(ncid, & 
                                varid, & 
                                local_data, & 
                                start = expanded_starts,& 
                                count = counts)) 
 
        ! close the file 
        call check(nf90_close(ncid)) 
 
        return 
 
    end subroutine output_3D 
 
    subroutine check(status) 
 
        integer, intent ( in) :: status 
 
        if(status /= nf90_noerr) then 
            print *, trim(nf90_strerror(status)) 
            stop 2 
        end if 
 
    end subroutine check 
 
end module IO 
 
program test_write 
 
    use IO 
    use MPI 
 
    complex(dp) :: data(2,2,3) 
 
    integer :: flock 
    integer :: rank 
    integer :: ierr 
 
    integer :: i, j, k 
 
    call MPI_init(ierr) 
    call MPI_comm_size(MPI_comm_world, flock, ierr) 
    call MPI_comm_rank(MPI_comm_world, rank, ierr) 
 
    do k = 1, 3 
        do j = 1, 2 
            do i = 1, 2 
                data(i,j,k) = cmplx(i, j, 8) 
            enddo 
        enddo 
    enddo 
 
    if (rank == 0) then 
 
        call output_3D_hdf5('out', [1,1,1], [2,2,3], [2,2,6], & 
                data, MPI_comm_world) 
 
    else 
 
        call output_3D_hdf5('out', [1,1,4], [2,2,6], [2,2,6],  & 
                data, MPI_comm_world) 
 
    endif 
 
    call MPI_finalize(ierr) 
 
end program test_write 

以上代码导致编译时出现“There is no specific function for nf90_put_var”错误。这表明该函数对输入数组的数据类型不满意,因此很明显我在复合数据类型的使用方面遗漏了一些东西。

编辑:一个简单的解决方法是将复杂数组分配给一个真正的指针,如 this 中所述。邮政。然后可以使用 numpy reshape /重铸数组以在 python 中到达复杂数组。它有点笨重,有点不满意 - 但对于我现在的目的来说可能已经足够好了。

请您参考如下方法:

由于您将在下面看到的原因,这只是部分答案 - 但对于评论来说太长了。希望我能够找到丢失的信息并“升级”它,但这是我目前所拥有的。

如果您在 https://www.unidata.ucar.edu/software/netcdf/fortran/docs/f90-user-defined-data-types.html#f90-compound-types-introduction 的“复合类型介绍”下查看 NetCDF4 文档你会看到:

To write data in a compound type, first use nf90_def_compound to create the type, multiple calls to nf90_insert_compound to add to the compound type, and then write data with the appropriate nf90_put_var1, nf90_put_vara, nf90_put_vars, or nf90_put_varm call.

请注意,它根本没有提到 nf90_put_var,而是提到了 4 个不同的函数。这在某种程度上是有道理的,nf90_put_var 可能很好地重载以处理 NetCDF 支持的所有内在类型(而且它完全是废话,它不支持复数),因此对于非内在类型,大概有一些 C 语言类似于带有类似 void * 的接口(interface),我猜这就是上面提到的四个函数实现的。

到目前为止一切顺利,您应该调用 nf90_put_var1、nf90_put_vara、nf90_put_vars 或 nf90_put_varm 之一比 nf90_put_var。现在是坏消息——我找不到这 4 个函数的任何文档。等效的 C 函数位于 https://www.unidata.ucar.edu/software/netcdf/docs/group__variables.html。所以你也许可以从那里找出需要什么,但这不是很好——我至少会向 Unidata 提交错误报告,但这对我来说缺乏对复杂的内在支持就足以让我在别处寻找我的 I/O 解决方案 ...

虽然我在这里,但您确实不应该为变量的种类使用显式数字,我可以向您展示编译器,其中 complex(8) 将无法编译。而是使用 Selected_real_kind 或类似的,或者使用内部模块 iso_fortran_env 中的常量,或者可能是 iso_c_binding 中的常量,以及复数的种类与组成实数的种类相同的事实