在使用 Numpy 时,我经常需要使用 bool 索引来访问数组的各个部分。为了让事情更容易阅读和输入,我经常将这些子数组存储到新变量中,例如:
n = 10000
X = np.random.rand((n, n))
W = np.random.random_integers(0, 1, n)
X0 = X[W==0]
X1 = X[W==1]
但是,当我处理越来越大的数据集时,这似乎很浪费。在这种情况下推荐的做法是什么?我是否应该每次都写(在上面的示例中)X[W==0] 和 X[W==1]?
请您参考如下方法:
如果要索引的元素数量有限,您可能希望将索引存储为索引列表。为此,numpy.nonzero 非常有用。但是,如果要索引的元素数量很大,则可以通过存储 bool 数组(每个元素 1 个字节)来使用更少的内存。
所以,有四种可能:
- 存储一个 bool 数组
- 存储非零索引
- 总是分别进行比较
- 掩码数组
从内存存储的角度来看,备选方案 1 每个索引元素每个维度占用 8 个字节。 (当然,“每个维度”可以通过使用平面索引来避免。) bool 方法每个元素占用 1 个字节,因此如果您有超过 1/8 的元素带有 True bool 表,它是更节省空间的解决方案。解决方案 #3 可能占用与 bool 解决方案相同的空间。
(我对 NumPy 的内部了解不够多,无法对屏蔽数组说太多。我怀疑它们的行为方式与 bool 索引类似。)
性能方面的情况是相似的。 bool 解决方案是高效的,如果您有很多元素可供选择,但如果您只有几个元素,那么索引解决方案更好。
只是为了提供一些基准测试的想法:
import numpy as np
import time
def create_indices(prob):
data = np.random.random(100000000) < prob
return data, np.nonzero(data)
def bool_index(data):
return data[data]
def list_index(data, indices):
return data[indices]
通过使用不同概率的timeit,结果是:
p boolean list
0.01 0.206 0.012
0.10 0.415 0.099
0.20 0.405 0.146
0.50 0.786 0.373
0.75 0.539 0.555
1.00 0.214 0.723
这实际上很有趣:当一半元素为 True 时,使用 bool 索引是最糟糕的。列表索引的使用符合预期。
不得将此基准视为全部事实。可能是要索引的数组的类型改变了情况(这里的bool与uint8相同),等等。但是,似乎性能方面列表索引在大多数情况下都非常好。
