我有三个不同的实体:Opportunity、Account、Activity。
我需要以一种特殊的方式组合它们。让我解释一下它们之间的关系:
- 机会 N-1 客户
- 帐户 1-N 事件
另外,值得注意的是
- Opportunity 具有以下字段:
{ opp_id ; opp_date ; acc_id} - Activity 具有以下字段:
{ act_id ;事件日期; acc_id
我想要实现的是将在机会日期前 X 天完成的事件数量插入到机会中。
我目前是这样做的:
a_new_df = pd.DataFrame(columns=['acc_id',"opp_id", "opp_date", "act_90", "act_180"])
for index, opp_row in Opportunity.iterrows():
account = opp_row["acc_id"]
opportunity = opp_row["opp_id"]
opp_date = opp_row["opp_date"]
act_90, act_180 = 0, 0
for index, act_row in activities_step_7.iterrows():
if acc == act_row["acc_id"]:
days = (pd.to_datetime(opp_date) - pd.to_datetime(act_row["act_date"])).days
if days<=90:
act_90+=1
elif days<=180:
act_180+=1
events_df = events_df.append({
"acc_id": account,
"opp_id": opportunity,
"opp_date" : dat,
"act_90" : act_90,
"act_180" : act_180,
}, ignore_index=True)
最后,我在 Opportunity 和这个 new df 之间做了一个 merge()。当然,手术需要很长时间。然而,我不知道如何改进这一点。
主要问题是我需要在机会中插入一些统计数据,这些统计需要来自机会和事件的数据,但我不能事先合并它们,因为对于每个机会我有不止一个事件要考虑(而且你不能这样做当你有重复时左连接)
有什么想法吗?非常感谢!
编辑 1
如果这是我的机会表:
opp_date acc_id opp_id
0 05.08.2019 acc1 opp1
1 25.03.2019 acc2 opp2
2 27.08.2019 acc1 opp3
3 02.09.2019 acc1 opp4
4 22.07.2019 acc3 opp5
这是我的事件表:
acc_id act_date
0 acc1 25.07.2019
1 acc1 26.07.2019
2 acc1 31.07.2019
3 acc1 28.07.2019
4 acc1 02.09.2019
5 acc1 02.09.2019
6 acc1 31.07.2019
7 acc1 02.09.2019
8 acc1 24.07.2019
9 acc1 25.07.2019
10 acc2 31.03.2019
11 acc3 31.07.2019
12 acc2 24.03.2019
13 acc3 13.05.2019
14 acc3 05.02.2019
15 acc3 30.05.2016
16 acc3 30.11.2017
17 acc3 11.04.2016
18 acc3 19.01.2018
19 acc3 19.01.2018
20 acc2 24.03.2019
21 acc1 04.08.2019
22 acc1 20.10.2019
那么预期的输出是:
opp_date acc_id opp_id act_90 act_180
0 05.08.2019 acc1 opp1 4 4
1 25.03.2019 acc2 opp2 0 0
2 27.08.2019 acc1 opp3 7 8
3 02.09.2019 acc1 opp4 0 0
4 22.07.2019 acc3 opp5 2 2
请您参考如下方法:
您可以使用一些 pandas 内置函数来代替 for 循环。此结果与您在问题中发布的“预期输出”有点不同,但我认为它符合您的描述。
让我们将您的第一个数据帧称为 df1 并将您的第二个数据帧称为 df2。
我们可以通过将其写成一个函数并应用来计算有多少事件符合您的条件,而不是在行上迭代:
def count_activities(row, act_df, days):
return (act_df['act_date'].between(row['opp_date'] -pd.Timedelta(days=days), row['opp_date'])
& (act_df['acc_id']==row['acc_id'])).sum()
由于我们在上面的函数中进行了计数,因此加入不是问题:
def add_count_activities_column(opp_df, act_df, days):
return opp_df.join(opp_df.apply(lambda row: count_activities(row,act_df,days), axis=1).rename('act_{}'.format(days)))
结果:
df3 = add_count_activities_column(df1, df2, 90)
df3 = add_count_activities_column(df3, df2, 180)
我的df3是
opp_date acc_id opp_id act_90 act_180
0 2019-05-08 acc1 opp1 4 4
1 2019-03-25 acc2 opp2 2 2
2 2019-08-27 acc1 opp3 7 8
3 2019-02-09 acc1 opp4 3 3
4 2019-07-22 acc3 opp5 2 2
附注- 我将使用 opp_id 作为索引,使用 df1.set_index('opp_id', inplace=True)。
