Skip to main content
 首页 » 编程设计

python之如何将按 x、y、z 坐标排序的 pandas 数据框转换为 numpy 数组列表

2024年12月31日7zfyouxi

如果我的数据框显示为:

    x y z t1 t2 t3 t4 t5 ... 
c1  1 2 3 15 98 36 45 24 
c2  2 ... 
c3  3 ... 
c4  4 ...  
c5  5 ... 
c6  6 ... 
. 
. 
. 

基本上每一行都是一个不同的坐标,每一列是时间序列中的一个点,每个条目 (c_i, t_j) 都是一些度量。我想要做的是将其放入一种 4D 张量(我希望这是正确的术语),其中维度为 (x,y,z,t),因此每个条目都是一个 3D numpy ndarray,每个术语作为相应的 (c,t) 度量。

这是我目前拥有的:

tensor = []     
 
for i in range(len(list(df.columns)) - 3): 
    tensor.append(np.zeros((max_x - min_x + 1, max_y - min_y + 1, max_z - min_z + 1))) 
    for j in range(len(df["x"])): 
        tensor[i][df["x"][j] - min_x][df["y"][j] - min_y][df["z"][j] - min_z] = df.iloc[:, i + 3][j] 

然后我可以简单地将张量转换为所需的必要对象。目前,我的数据集是 93164 x 13455,所以我估计这大约需要 32 小时。如果这是最好的方法,那么我将只处理等待,但我很想知道是否有人可以想出更快的方法。

请您参考如下方法:

因此,如果我没有理解错的话,而不是像这样:

x1 y1 z1 t1 t2 t3 

你想要这样的东西吗?

x1 y1 z1 t1 
 
x1 y1 z1 t2 
 
x1 y1 z1 t3 

我认为有不止一种方法可以做到这一点,但这里有一种使用 Pandas 中的熔化功能。假设您有一个数据框(如下所示),您需要将 t2 中的变量移动到 t1,或者换句话说,您想要合并 t1 和 t2。

df = pd.DataFrame([[1,2,3,4],[5,6,7,8],[9,10,11,12],[13,14,15,16],[17,18,19,20]], columns=['x','y','t1','t2']) 
 
    x   y  t1  t2 
0   1   2   3   4 
1   5   6   7   8 
2   9  10  11  12 
3  13  14  15  16 
4  17  18  19  20 

要完成我相信您所说的您想要的,您可以执行以下操作,使用

f_df = df.melt(id_vars=['x','y'], value_vars = ['t1','t2'], value_name='t').drop('variable', axis=1).sort_values('x') 

现在有了 f_df:

    x   y   t 
0   1   2   3 
5   1   2   4 
1   5   6   7 
6   5   6   8 
2   9  10  11 
7   9  10  12 
3  13  14  15 
8  13  14  16 
4  17  18  19 
9  17  18  20 

从这里,您可以简单地将其转换为一个 numpy 数组