我需要沿两个维度对一个中等大小的 2d Numpy 数组进行切片。例如,
import numpy as np
X = np.random.normal(loc=0, scale=1, size=(3000, 100))
从这个数组中,我需要选择大量的行和相当少的列,例如
row_idx = np.random.random_integers(0, 2999, 2500)
col_idx = np.random.random_integers(0, 99, 10)
现在,我通过以下命令执行此操作:
X.take(col_idx, axis=1).take(row_idx, axis=0)
这在我的电脑上大约需要 115µs。问题是每次运行我需要执行此步骤几百万次。
您认为有机会加快这一步吗?
编辑(附加信息): 我有一个矩阵 X,它是 nxk。 n 行包含 1xk 个向量。 共有三组:事件组 (V)、左组 (L) 和右组 (R)。此外,还有系数 v0 和 v。我需要计算这个数量:http://goo.gl/KNoSl3 (抱歉,我无法发布图片)。问题中的公式选择左(右)集中 X 的所有行和事件集中的所有列。
编辑2
我发现了另一个小改进。
X.take(col_idx, axis=1, mode='clip').take(row_idx, axis=0, mode='clip')
快一点(在我的机器上大约快 25%)。
请您参考如下方法:
让我们做一些事情,我们制作一个满足我们的 n 维网格条件的一维索引数组。
def make_multi_index(arr, *inds):
tmp = np.meshgrid(*inds, indexing='ij')
idx = np.vstack([x.ravel() for x in tmp])
return np.ravel_multi_index(idx, X.shape)
使用您的测试阵列和原始案例作为引用:
%timeit X.take(col_idx, axis=1).take(row_idx, axis=0)
10000 loops, best of 3: 95.4 µs per loop
让我们使用这个函数来构建索引、保存它们,然后使用 take 返回您想要的输出:
inds = make_multi_index(X, row_idx, col_idx)
tmp = np.take(X,inds).reshape(row_idx.shape[0], col_idx.shape[0])
np.allclose(tmp, X.take(col_idx, axis=1).take(row_idx, axis=0))
Out[128]: True
因此,构建我们的索引并保留它们似乎是可行的,现在是时候了:
%timeit make_multi_index(X, row_idx, col_idx)
1000 loops, best of 3: 356 µs per loop
%timeit np.take(X,inds).reshape(row_idx.shape[0], col_idx.shape[0])
10000 loops, best of 3: 59.9 µs per loop
所以它碰巧不是很好 - 如果您想从中获取更多维度,这可能会变得更好。无论如何,如果您将这些索引保留超过 10-15 次迭代,它可能会有所帮助,或者如果您添加一个额外的维度并同时获取所有非事件数据集。
