Skip to main content
 首页 » 编程设计

python之寻找一种加速 Pandas 数据框搜索的方法

2024年11月24日13bjzhanghao

所以我试图通过在数据框中查找其发布日期(发布日期是我们可以找到该产品的最早日期)并从当前日期中减去它来计算给定产品的年龄数据框。但是,发布日期的搜索占用了太多时间(我制作此主题时已花费 2 小时)。 注意:Dataframe 有超过 30 万行。

我在 pandas 中使用 .loc 方法,这似乎是问题的根源。

#Age Calculation 
def item_age(release,current): 
    age = (current - release) / timedelta(days=365.2425) 
    age="%.3f" % age 
    return age 
#Get the release date of a given item  
def getItem_releaseDate(sales_data,index): 
    date=sales.loc[(sales.item_id==index),'date'] 
    release=[] 
    for i in date: 
        release.append(datetime.datetime.strptime(i,'%d.%m.%Y')) 
    mini=min(release) 
    return mini 
#Appending age to item 
def getItem_age(sales_data): 
    sales=sales_data 
    sales['age']=0 
    for index,row in sales.iterrows(): 
        current=datetime.datetime.strptime(row['date'],'%d.%m.%Y') 
        release=getItem_releaseDate(sales_data,row["item_id"]) 
        row["age"]=item_age(release,current) 
    return sales 
 

请您参考如下方法:

试试下面的方法(我不确定它是否有效,因为我没有数据来测试它)

#Appending age to item 
def getItem_age(sales_data): 
    sales_data['age']=item_age(sales_data.date.values, getItem_releaseDate(sales_data,sales_data.item_id.values)) 
    return sales_data 
 
#Age Calculation 
def item_age(release,current): 
    age = (current - release) / timedelta(days=365.2425) 
    age="%.3f" % age 
    return age 
 
#Get the release date of a given item  
def getItem_releaseDate(sales_data,index): 
    return sales_data.loc[sales_data.item_id == index].date.min() 

您的代码存在的问题是您在数据集上以低效的方式循环。你通常可以通过使用“Vectorization with NumPy”来摆脱这个问题。你可以检查Optimizing Pandas了解更多信息。