所以我试图通过在数据框中查找其发布日期(发布日期是我们可以找到该产品的最早日期)并从当前日期中减去它来计算给定产品的年龄数据框。但是,发布日期的搜索占用了太多时间(我制作此主题时已花费 2 小时)。 注意:Dataframe 有超过 30 万行。
我在 pandas 中使用 .loc 方法,这似乎是问题的根源。
#Age Calculation
def item_age(release,current):
age = (current - release) / timedelta(days=365.2425)
age="%.3f" % age
return age
#Get the release date of a given item
def getItem_releaseDate(sales_data,index):
date=sales.loc[(sales.item_id==index),'date']
release=[]
for i in date:
release.append(datetime.datetime.strptime(i,'%d.%m.%Y'))
mini=min(release)
return mini
#Appending age to item
def getItem_age(sales_data):
sales=sales_data
sales['age']=0
for index,row in sales.iterrows():
current=datetime.datetime.strptime(row['date'],'%d.%m.%Y')
release=getItem_releaseDate(sales_data,row["item_id"])
row["age"]=item_age(release,current)
return sales
请您参考如下方法:
试试下面的方法(我不确定它是否有效,因为我没有数据来测试它)
#Appending age to item
def getItem_age(sales_data):
sales_data['age']=item_age(sales_data.date.values, getItem_releaseDate(sales_data,sales_data.item_id.values))
return sales_data
#Age Calculation
def item_age(release,current):
age = (current - release) / timedelta(days=365.2425)
age="%.3f" % age
return age
#Get the release date of a given item
def getItem_releaseDate(sales_data,index):
return sales_data.loc[sales_data.item_id == index].date.min()
您的代码存在的问题是您在数据集上以低效的方式循环。你通常可以通过使用“Vectorization with NumPy”来摆脱这个问题。你可以检查Optimizing Pandas了解更多信息。
