Skip to main content
 首页 » 编程设计

python / NumPy : How to avoid storing Boolean-indexed sub-arrays

2024年10月25日11kuangbin

在使用 Numpy 时,我经常需要使用 bool 索引来访问数组的各个部分。为了让事情更容易阅读和输入,我经常将这些子数组存储到新变量中,例如:

n = 10000 
X = np.random.rand((n, n)) 
W = np.random.random_integers(0, 1, n) 
X0 = X[W==0] 
X1 = X[W==1] 

但是,当我处理越来越大的数据集时,这似乎很浪费。在这种情况下推荐的做法是什么?我是否应该每次都写(在上面的示例中)X[W==0] 和 X[W==1]?

请您参考如下方法:

如果要索引的元素数量有限,您可能希望将索引存储为索引列表。为此,numpy.nonzero 非常有用。但是,如果要索引的元素数量很大,则可以通过存储 bool 数组(每个元素 1 个字节)来使用更少的内存。

所以,有四种可能:

  1. 存储一个 bool 数组
  2. 存储非零索引
  3. 总是分别进行比较
  4. 掩码数组

从内存存储的角度来看,备选方案 1 每个索引元素每个维度占用 8 个字节。 (当然,“每个维度”可以通过使用平面索引来避免。) bool 方法每个元素占用 1 个字节,因此如果您有超过 1/8 的元素带有 True bool 表,它是更节省空间的解决方案。解决方案 #3 可能占用与 bool 解决方案相同的空间。

(我对 NumPy 的内部了解不够多,无法对屏蔽数组说太多。我怀疑它们的行为方式与 bool 索引类似。)

性能方面的情况是相似的。 bool 解决方案是高效的,如果您有很多元素可供选择,但如果您只有几个元素,那么索引解决方案更好。

只是为了提供一些基准测试的想法:

import numpy as np 
import time 
 
def create_indices(prob): 
    data = np.random.random(100000000) < prob 
    return data, np.nonzero(data) 
 
def bool_index(data): 
    return data[data] 
 
def list_index(data, indices): 
    return data[indices] 

通过使用不同概率的timeit,结果是:

    p    boolean   list 
   0.01   0.206    0.012 
   0.10   0.415    0.099 
   0.20   0.405    0.146 
   0.50   0.786    0.373 
   0.75   0.539    0.555 
   1.00   0.214    0.723 

这实际上很有趣:当一半元素为 True 时,使用 bool 索引是最糟糕的。列表索引的使用符合预期。

不得将此基准视为全部事实。可能是要索引的数组的类型改变了情况(这里的bool与uint8相同),等等。但是,似乎性能方面列表索引在大多数情况下都非常好。