Skip to main content
 首页 » 编程设计

python之提取比 numpy 中的花式索引慢

2025年05月04日11wuhuacong

Ndarray 有一个成员函数 extract 来提取满足某些条件的数组元素。但是,这个函数比花式索引慢。为什么要使用这个功能?

from numpy import * 
a=random.random((1000,2000)) 
b=a>0.2 
%timeit extract(b,a) 
%timeit a[b] 
%timeit extract(a>0.2,a) 
%timeit a[a>0.2] 

这是我的输出:

In [138]: %timeit extract(b,a) 
10 loops, best of 3: 29.6 ms per loop 
 
In [139]: %timeit a[b] 
100 loops, best of 3: 18.5 ms per loop 
 
In [140]: %timeit extract(a>0.2,a) 
10 loops, best of 3: 31.4 ms per loop 
 
In [141]: %timeit a[a>0.2] 
10 loops, best of 3: 19.7 ms per loop 

请您参考如下方法:

如果我们检查 np.extract,我们会发现以下内容:

take(a.ravel(), nonzero(ravel(b))[0]) 

这里有趣的是,我们将 bool 数组 b 转换为索引,以便正常的 np.take 操作可以像宣传的那样工作。如果我们检查这需要多长时间,我们会发现 nonzero 占总时间的大部分时间,花式索引花费的时间少于 nonzero:

%timeit nonzero(ravel(b))[0] 
100 loops, best of 3: 13.1 ms per loop 
 
%timeit take(a.ravel(), nonzero(ravel(b))[0]) 
100 loops, best of 3: 18.7 ms per loop 
 
%timeit a[b] 
100 loops, best of 3: 12.9 ms per loop 

docs解释说即使花哨的索引也会使用某种类似于 nonzero 的操作来创建索引数组;然而,花式索引不涉及 python 抽象层。我相信 python 抽象层是这里的关键。到底发生了什么我不想去推测,但我希望当函数完全在 C 端时会发生大量优化(就像所有花哨的索引一样)。