Skip to main content
 首页 » 编程设计

python之更快的 3D 矩阵操作之Python

2024年12月31日14powertoolsteam

我在 Python 中使用 3D 矩阵,例如,给定这样的矩阵,大小为 2x3x4:

[[[1 2 1 4] 
  [3 2 1 1] 
  [4 3 1 4]] 
 
 [[2 1 3 3] 
  [1 4 2 1] 
  [3 2 3 3]]] 

我的任务是找出每个维度矩阵中每一行的熵值。例如,在 [1,2,1,4] 上方矩阵的第 1 维行中,归一化值(因此总和为 1)为 [0.125, 0.25 , 0.125, 0.5] 熵的值由公式 -sum(i*log(i)) 计算,其中 i 是归一化值。生成的矩阵是一个 2x3 矩阵,其中每个维度都有 3 个熵值(因为有 3 行)。

这是我的代码每次都使用随机矩阵的工作示例:

from scipy.stats import entropy 
import numpy as np 
 
matrix = np.random.randint(low=1,high=5,size=(2,3,4)) #how if size is (200,50,1000) 
entropy_matrix=np.zeros((matrix.shape[0],matrix.shape[1])) 
for i in range(matrix.shape[0]): 
    normalized = np.array([float(k)/np.sum(j) for j in matrix[i] for k in j]).reshape(matrix.shape[1],matrix.shape[2]) 
    entropy_matrix[i] = np.array([entropy(m) for m in normalized]) 

我的问题是如何扩展此程序以处理非常大的 3D 矩阵(例如大小为 200x50x1000)?

我在 Windows 10(使用 Anaconda 发行版)中使用 Python。 使用 200x50x1000 的 3D 矩阵大小,我在计算机上得到的运行时间为 290 秒。

请您参考如下方法:

对第二部分使用 entropy 的定义,对第一部分使用广播操作,一个向量化的解决方案是 -

p1 = matrix/matrix.sum(-1,keepdims=True).astype(float) 
entropy_matrix_out = -np.sum(p1 * np.log(p1), axis=-1) 

或者,我们可以对第二部分使用 einsum 以进一步提高性能。提升 -

entropy_matrix_out = -np.einsum('ijk,ijk->ij',p1,np.log(p1),optimize=True)