Skip to main content
 首页 » 编程设计

python之当我有大量数组时检查重复数组

2024年12月31日9think

我正在计算图表中的各种模式,并将相关信息存储在大小为 N 的 numpy 数组列表的 defaultdict 中,其中索引值为整数。

我想有效地知道我是否在创建重复数组。不删除重复项会使重复项的数量呈指数增长,以至于我正在做的事情变得不可行。但是可能有数十万个数组,存储在不同的列表中,使用不同的键。据我所知,我无法对数组进行哈希处理。

如果我只需要检查重复的非零索引,我会将非零索引存储为一个位序列,然后对该值进行哈希处理。但是,我不仅需要检查索引——我还需要检查它们的整数值。除了提出一个使用不同结构的完全已知的设计之外,还有什么方法可以做到这一点?

谢谢。

请您参考如下方法:

基本思想是“我如何使用我自己的哈希(也许还有==)在集合中以不同的方式存储东西/听写? (其中“不同”包括“不引发 TypeError 不可散列)。

答案的第一部分 是定义您的散列函数,例如在 myrtlecat’s comment 之后.但是,请注意基于它的标准非答案:将每个对象的自定义散列存储在一个集合中(或者将其映射到,比如说,带有字典)。您不必提供相等性实现暗示这是错误的:散列值并不总是是唯一的! (异常(exception):如果你想 “hash by identity” ,并且知道你所有的键将 比 映射,id 确实提供唯一的“哈希”。 )

其余 的答案是将所需的键包装在将散列/相等函数公开为 __hash__ 和 __eq__ 的对象中。请注意,覆盖可变类型的不可散列性伴随着不改变(底层)键的义务! (C 程序员通常将这样做称为未定义行为。)

有关代码,请参阅 old answer by xperroni (其中包括通过比较不太可能被其他代码更改的私有(private)副本来提高安全性的选项),尽管我会添加 __slots__ 来对抗内存开销。