Skip to main content
 首页 » 编程设计

python之加速数据框 .loc()

2025年02月15日11Renyi-Fan

我有一个大约 400k IP 的列表(存储在 pandas DataFrame df_IP 中)使用 maxming geoIP 数据库进行地理定位。我使用城市版本,并检索城市、纬度、经度和县代码(法国省),因为有些城市具有相同的名称但位于非常不同的地方。

这是我的工作代码:

import geoip2.database 
import pandas as pd 
 
reader = geoip2.database.Reader('path/to/GeoLite2-City.mmdb') 
results = pd.DataFrame(columns=('IP', 
                                'city', 
                                'latitude', 
                                'longitude', 
                                'dept_code')) 
 
for i, IP in enumerate(df_IP["IP"]): 
    try : 
        response = reader.city(IP) 
        results.loc[i] = [IP,response.city.name,response.location.latitude,response.location.longitude,response.subdivisions.most_specific.iso_code] 
    except Exception as e: 
        print ("error with line {}, IP {}: {}").format(i,df_IP["IP"][i],e ) 

它运行良好,但在每个循环中变得越来越慢。如果我在第 1000 个 IP 上计时,我需要 4.7 秒,所以整个 400k 应该需要大约 30 分钟,但它运行了将近 4 个小时。

IMO 唯一会随着时间变慢的是数据帧 results 的填充:我有哪些不使用 .loc 并且可以更快的替代方案?最后我仍然需要相同的数据框。

我也有兴趣解释为什么 loc 在大型数据帧上如此缓慢。

请您参考如下方法:

我遇到过类似的情况,因为 loc 导致运行时崩溃。摆弄了很多之后,我找到了一个 super 快的简单解决方案。 使用 set_value 而不是 loc。

这是示例代码的样子:您可以针对您的用例对其进行调整。假设你的数据框是这样的

Index  'A'  'B' 'Label' 
23      0    1    Y 
45      3    2    N 
 
self.data.set_value(45,'Label,'NA') 

这会将第二行的“标签”列的值设置为 NA。

有关 set_value 的更多信息,请访问以下链接:

http://pandas.pydata.org/pandas-docs/version/0.17/generated/pandas.DataFrame.set_value.html