Skip to main content
 首页 » 编程设计

python之有什么办法可以加快 Pandas 比较的速度吗

2024年11月01日6qlqwjy

我有一个 Python script它收集了一些奇怪的日志文件并将它们放入 pandas.DataFrame 中,这样我就可以进行一些统计分析。由于日志是以 5 分钟为间隔的进程快照,当我读取每个文件时,我会根据从上一个文件输入的数据检查新行,看看它们是否与之前的进程相同(在这种情况下,我只是更新现有记录上的时间)。它工作正常,但当单个日志超过 100,000 行时可能会出奇地慢。

当我分析性能时,几乎没有突出的地方,但它确实显示了在这个简单的函数上花费了很多时间,它基本上是将一个系列与上一个日志中遗留的行进行比较:

def carryover(s,df,ids): 
    # see if pd.Series (s) matches any rows in pd.DataFrame (df) from the given indices (ids) 
    for id in ids: 
        r = df.iloc[id] 
        if (r['a']==s['a'] and 
            r['b']==s['b'] and 
            r['c']==s['c'] and 
            r['d']==s['d'] and 
            r['e']==s['e'] and 
            r['f']==s['f'] ): 
            return id 
    return None 

我认为这是非常有效的,因为 和 是短路的……但是是否有更好的方法?

否则,我可以做其他事情来帮助它运行得更快吗?生成的 DataFrame 应该很好地适合 RAM,但我不知道是否应该设置一些东西来确保缓存等是最佳的。谢谢大家!

请您参考如下方法:

像这样迭代和查找是相当慢的(即使它会短路),很可能速度取决于它击中目标的可能性...

更“numpy”的方法是对整个数组进行计算:

equals_s = df.loc[ids, ['a', 'b', 'c', 'd', 'e', 'f']] == s.loc['a', 'b', 'c', 'd', 'e', 'f'] 
row_equals_s = equals_s.all(axis=1) 

那么第一个为 True 的索引是 idxmax:

row_equals_s.idxmax() 

如果速度至关重要,短路也很重要,那么 rewrite your function in cython 可能是个好主意,您可以在 numpy 数组上快速迭代。