Skip to main content
 首页 » 编程设计

python之寻找在巨大的 Pandas Dataframe 中对一行进行切片的最快方法

2024年11月24日6wuhuacong

我的程序需要根据一个巨大的 Pandas Dataframe 中列中的值获取一行。响应时间至关重要。我使用最常见的方式来做,例如:

df.loc[df['id'] == 500000, :] 

在我的 Mac 上,每个 timeit 需要 4 毫秒才能在具有 100 万行的数据帧上完成上述操作。但我的目标是将时间减少到 0.4 毫秒。我曾经考虑将此数据框转换为 Set,但 Set 未排序且本身不支持索引或切片。有什么建议吗?

请您参考如下方法:

让我们设置一下:

import pandas as pd 
import numpy as np 
df = pd.DataFrame({"id": np.random.randint(100,size=(1000000,))}) 

然后让我们对一些选项进行基准测试。您当前的 bool 值 + .loc:

>>> timeit.timeit("df.loc[df['id'] == 50, :]", setup = "from __main__ import df", number=1000) 
2.566220869999597 

查询引擎:

>>> timeit.timeit("df.query('id == 50')", setup = "from __main__ import df", number=1000) 
14.591400260000228 

将索引用作单独的查找:

>>> idx = pd.Index(df['id']) 
>>> timeit.timeit("df.loc[idx == 50, :]", setup = "from __main__ import df, idx", number=1000) 
2.2155187300013495 

使用数据帧索引进行查找:

>>> df.index = df["id"] 
>>> timeit.timeit("df.loc[50, :]", setup = "from __main__ import df", number=1000) 
2.625610274999417 

还有那个 .isin() 评论中有人的想法:

>>> timeit.timeit("df.loc[df['id'].isin([50]), :]", setup = "from __main__ import df", number=1000) 
9.542700138999862 

看起来除了查询引擎对于一个简单的相等性来说很慢(正如预期的那样),你不会比你得到的查找时间好多少。

df_unique = pd.DataFrame({'id': range(1000000)}) 

让我们看看唯一 ID 有何帮助:

>>> timeit.timeit("df_unique.loc[df_unique['id'] == 50, :]", setup = "from __main__ import df_unique", number=1000) 
1.9672015519990964 

然后听写:

>>> df_unique.index = df_unique['id'] 
>>> df_dict = df_unique.to_dict(orient='index') 
>>> timeit.timeit("df_dict[50]", setup = "from __main__ import df_dict", number=1000) 
6.247700002859347e-05 

嗯,看起来这是一个明显的赢家。

>>> timeit.timeit("pd.Series(df_dict[50])", setup = "from __main__ import df_dict, pd", number=1000) 
0.2747819870000967 

即使您必须将其转换回系列,这也比以前快了一个数量级。 (如果需要,您还可以非常轻松地将一个系列映射回字典,并保持字典查找的速度而无需任何开销)