Skip to main content
 首页 » 编程设计

python之Pandas ,如何避免使用 iterrow(如何根据另一个数据框中的值将值分配给数据框中的新列)

2024年11月01日9zdz8207

我有三个不同的实体:Opportunity、Account、Activity。

我需要以一种特殊的方式组合它们。让我解释一下它们之间的关系:

  • 机会 N-1 客户
  • 帐户 1-N 事件

另外,值得注意的是

  • Opportunity 具有以下字段:{ opp_id ; opp_date ; acc_id}
  • Activity 具有以下字段:{ act_id ;事件日期; acc_id

我想要实现的是将在机会日期前 X 天完成的事件数量插入到机会中。

我目前是这样做的:

a_new_df = pd.DataFrame(columns=['acc_id',"opp_id", "opp_date", "act_90", "act_180"]) 
 
for index, opp_row in Opportunity.iterrows(): 
    account = opp_row["acc_id"] 
    opportunity = opp_row["opp_id"] 
    opp_date = opp_row["opp_date"] 
    act_90, act_180 = 0, 0 
    for index, act_row in activities_step_7.iterrows(): 
        if acc == act_row["acc_id"]: 
            days = (pd.to_datetime(opp_date) - pd.to_datetime(act_row["act_date"])).days 
            if days<=90: 
                act_90+=1 
            elif days<=180: 
                act_180+=1 
    events_df = events_df.append({ 
        "acc_id": account, 
        "opp_id":  opportunity, 
        "opp_date" : dat, 
        "act_90" :  act_90, 
        "act_180" : act_180,     
      }, ignore_index=True) 

最后,我在 Opportunity 和这个 new df 之间做了一个 merge()。当然,手术需要很长时间。然而,我不知道如何改进这一点。

主要问题是我需要在机会中插入一些统计数据,这些统计需要来自机会和事件的数据,但我不能事先合并它们,因为对于每个机会我有不止一个事件要考虑(而且你不能这样做当你有重复时左连接)

有什么想法吗?非常感谢!


编辑 1

如果这是我的机会表:

    opp_date    acc_id  opp_id 
0   05.08.2019  acc1    opp1 
1   25.03.2019  acc2    opp2 
2   27.08.2019  acc1    opp3 
3   02.09.2019  acc1    opp4 
4   22.07.2019  acc3    opp5 

这是我的事件表:

    acc_id  act_date 
0   acc1    25.07.2019 
1   acc1    26.07.2019 
2   acc1    31.07.2019  
3   acc1    28.07.2019 
4   acc1    02.09.2019  
5   acc1    02.09.2019  
6   acc1    31.07.2019  
7   acc1    02.09.2019  
8   acc1    24.07.2019  
9   acc1    25.07.2019  
10  acc2    31.03.2019  
11  acc3    31.07.2019  
12  acc2    24.03.2019  
13  acc3    13.05.2019  
14  acc3    05.02.2019 
15  acc3    30.05.2016  
16  acc3    30.11.2017  
17  acc3    11.04.2016  
18  acc3    19.01.2018  
19  acc3    19.01.2018  
20  acc2    24.03.2019  
21  acc1    04.08.2019 
22  acc1    20.10.2019 

那么预期的输出是:

    opp_date        acc_id  opp_id      act_90  act_180 
0   05.08.2019      acc1    opp1        4       4    
1   25.03.2019      acc2    opp2        0       0    
2   27.08.2019      acc1    opp3        7       8    
3   02.09.2019      acc1    opp4        0       0    
4   22.07.2019      acc3    opp5        2       2    

请您参考如下方法:

您可以使用一些 pandas 内置函数来代替 for 循环。此结果与您在问题中发布的“预期输出”有点不同,但我认为它符合您的描述。

让我们将您的第一个数据帧称为 df1 并将您的第二个数据帧称为 df2。
我们可以通过将其写成一个函数并应用来计算有多少事件符合您的条件,而不是在行上迭代:

def count_activities(row, act_df, days): 
    return (act_df['act_date'].between(row['opp_date'] -pd.Timedelta(days=days), row['opp_date'])  
            & (act_df['acc_id']==row['acc_id'])).sum() 

由于我们在上面的函数中进行了计数,因此加入不是问题:

def add_count_activities_column(opp_df, act_df, days): 
    return opp_df.join(opp_df.apply(lambda row: count_activities(row,act_df,days), axis=1).rename('act_{}'.format(days))) 

结果:

df3 = add_count_activities_column(df1, df2, 90) 
df3 = add_count_activities_column(df3, df2, 180) 

我的df3是

    opp_date    acc_id  opp_id  act_90  act_180 
0   2019-05-08  acc1    opp1    4   4 
1   2019-03-25  acc2    opp2    2   2 
2   2019-08-27  acc1    opp3    7   8 
3   2019-02-09  acc1    opp4    3   3 
4   2019-07-22  acc3    opp5    2   2 

附注- 我将使用 opp_id 作为索引,使用 df1.set_index('opp_id', inplace=True)。