如果我的数据框显示为:
x y z t1 t2 t3 t4 t5 ...
c1 1 2 3 15 98 36 45 24
c2 2 ...
c3 3 ...
c4 4 ...
c5 5 ...
c6 6 ...
.
.
.
基本上每一行都是一个不同的坐标,每一列是时间序列中的一个点,每个条目 (c_i, t_j) 都是一些度量。我想要做的是将其放入一种 4D 张量(我希望这是正确的术语),其中维度为 (x,y,z,t),因此每个条目都是一个 3D numpy ndarray,每个术语作为相应的 (c,t) 度量。
这是我目前拥有的:
tensor = []
for i in range(len(list(df.columns)) - 3):
tensor.append(np.zeros((max_x - min_x + 1, max_y - min_y + 1, max_z - min_z + 1)))
for j in range(len(df["x"])):
tensor[i][df["x"][j] - min_x][df["y"][j] - min_y][df["z"][j] - min_z] = df.iloc[:, i + 3][j]
然后我可以简单地将张量转换为所需的必要对象。目前,我的数据集是 93164 x 13455,所以我估计这大约需要 32 小时。如果这是最好的方法,那么我将只处理等待,但我很想知道是否有人可以想出更快的方法。
请您参考如下方法:
因此,如果我没有理解错的话,而不是像这样:
x1 y1 z1 t1 t2 t3
你想要这样的东西吗?
x1 y1 z1 t1
x1 y1 z1 t2
x1 y1 z1 t3
我认为有不止一种方法可以做到这一点,但这里有一种使用 Pandas 中的熔化功能。假设您有一个数据框(如下所示),您需要将 t2 中的变量移动到 t1,或者换句话说,您想要合并 t1 和 t2。
df = pd.DataFrame([[1,2,3,4],[5,6,7,8],[9,10,11,12],[13,14,15,16],[17,18,19,20]], columns=['x','y','t1','t2'])
x y t1 t2
0 1 2 3 4
1 5 6 7 8
2 9 10 11 12
3 13 14 15 16
4 17 18 19 20
要完成我相信您所说的您想要的,您可以执行以下操作,使用
f_df = df.melt(id_vars=['x','y'], value_vars = ['t1','t2'], value_name='t').drop('variable', axis=1).sort_values('x')
现在有了 f_df:
x y t
0 1 2 3
5 1 2 4
1 5 6 7
6 5 6 8
2 9 10 11
7 9 10 12
3 13 14 15
8 13 14 16
4 17 18 19
9 17 18 20
从这里,您可以简单地将其转换为一个 numpy 数组
