Skip to main content
 首页 » 编程设计

python之快速搜索大型结构化 numpy 数组

2024年10月25日9rubylouvre

我有一个结构化的 numpy 格式数组

dataZero = [(1000, 1045),  # ('gid','lpid') 
            (2345, 2500), 
                 ...    ] 

其中包含约 130,000 个条目。我还有另一个格式的结构化数组

dataSnap = [(1002,...,...,...),   # ('gid',...) 
            (2400,...,...,...), 
            (2490,...,...,...), 
                 ...          ] 

但这包含 200 万个条目。

对于 dataZero 中的每个条目, i ,我想在 dataSnap 中找到条目满足条件 dataZero['gid'][i] <= dataSnap['gid'] <= dataZero['lpid'][i] .这应该允许返回多个条目。它可以返回满足此条件的条目的索引,或条目本身 - 只要我在合理的时间内完成此操作 ~ 分钟。

在上面的例子中,这将返回,例如:

[some code] -> [[0],[1,2],...]   # if returning indices of dataSnap 
 
[some code] -> [[(1002,...,...,...)],  # if returning the entries themselves 
                [(2400,...,...,...),(2490,...,...,...)], 
               ...] 

我不知道如何快速完成此操作 - for 循环需要很长时间。可能会转换成一组 {}会更好?感谢任何建议/解决方案。

请您参考如下方法:

这是一个使用 Python 排序列表(不是数组)的算法。您可能需要调整它以使用 numpy。

def helper(dataZero, dataSnap): # assumes arguments are sorted ascending! 
    ds_iter = iter(dataSnap) 
    curr_snap = next(ds_iter) 
    for lo, hi in dataZero: 
        while curr_snap[0] < lo: 
            curr_snap = next(ds_iter) 
        while lo <= curr_snap[0] <= hi: 
            yield curr_snap 
            curr_snap = next(ds_iter)  
 
result = list(helper(dataZero, dataSnap)) 

我使用包含 200 万个随机生成条目的 dataSnap 和包含从 dataSnap 中随机选择的 13 万个范围的 dataZero 对此进行了测试。在我的系统上最多只需要几秒钟。