我有一个 Python script它收集了一些奇怪的日志文件并将它们放入 pandas.DataFrame 中,这样我就可以进行一些统计分析。由于日志是以 5 分钟为间隔的进程快照,当我读取每个文件时,我会根据从上一个文件输入的数据检查新行,看看它们是否与之前的进程相同(在这种情况下,我只是更新现有记录上的时间)。它工作正常,但当单个日志超过 100,000 行时可能会出奇地慢。
当我分析性能时,几乎没有突出的地方,但它确实显示了在这个简单的函数上花费了很多时间,它基本上是将一个系列与上一个日志中遗留的行进行比较:
def carryover(s,df,ids):
# see if pd.Series (s) matches any rows in pd.DataFrame (df) from the given indices (ids)
for id in ids:
r = df.iloc[id]
if (r['a']==s['a'] and
r['b']==s['b'] and
r['c']==s['c'] and
r['d']==s['d'] and
r['e']==s['e'] and
r['f']==s['f'] ):
return id
return None
我认为这是非常有效的,因为 和 是短路的……但是是否有更好的方法?
否则,我可以做其他事情来帮助它运行得更快吗?生成的 DataFrame 应该很好地适合 RAM,但我不知道是否应该设置一些东西来确保缓存等是最佳的。谢谢大家!
请您参考如下方法:
像这样迭代和查找是相当慢的(即使它会短路),很可能速度取决于它击中目标的可能性...
更“numpy”的方法是对整个数组进行计算:
equals_s = df.loc[ids, ['a', 'b', 'c', 'd', 'e', 'f']] == s.loc['a', 'b', 'c', 'd', 'e', 'f']
row_equals_s = equals_s.all(axis=1)
那么第一个为 True 的索引是 idxmax:
row_equals_s.idxmax()
如果速度至关重要,短路也很重要,那么 rewrite your function in cython 可能是个好主意,您可以在 numpy 数组上快速迭代。
