Skip to main content
 首页 » 编程设计

python 将交互数据合并为一行

2025年01月19日10zhenyulu

我有一个 .csv 数据集,其中包含关于第二个人进行交互的 rfid 数据:

tag_me是第一个人的变量,tag_them是那一秒遇到的人的名字,time_local_s是交互发生的时间。 rfid 在 19:00:00 开始记录,因此第一次交互记录在 19:22:36(19:00:00 + 1356 秒)。

tag_me,tag_them,time_local_s 
0x597E5627,0x3C992634,1356 
0x597E5627,0x3C992634,1360 
0x597E5627,0x3C992634,1361 
0x597E5627,0x3C992634,1362 
0x597E5627,0x3C992634,1363 
0x597E5627,0x7DA8FFB0,1364 
0x597E5627,0x3C992634,1365 
0x597E5627,0x3C992634,1365 
0x597E5627,0x3C992634,1366 
0x597E5627,0x7DA8FFB0,1366 
0x597E5627,0x36570942,1366 
0x597E5627,0x3C3A21AD,1369 
0x597E5627,0x06497CA4,1370 
0x597E5627,0x06497CA4,1372 
0x597E5627,0x06497CA4,1372 
0x597E5627,0x06497CA4,1374 
0x597E5627,0x06497CA4,1374 
0x597E5627,0x064F5882,1379 

我想将每个交互分组为一行,记录交互开始、结束的时间以及花费的时间。因此我可以过滤某个阈值(两个 rfid 相互看到 2 秒当然不是真正的交互。

tag_me,tag_them,time_start,time_end,total_time 
0x597E5627,0x3C992634,1356,1363,7 
0x597E5627,0x7DA8FFB0,1364,1363,1 
0x597E5627,0x3C992634,1365,1366,1 
0x597E5627,0x7DA8FFB0,1366,1366,1 
0x597E5627,0x36570942,1366,1366,1 
0x597E5627,0x3C3A21AD,1369,1369.1 
0x597E5627,0x06497CA4,1370,1374,4 
0x597E5627,0x064F5882,1379,1379,1  

到目前为止我试过这个:

data = [] 
with open('timemerger.csv') as f: 
    for line in f: 
        data.append(line) 
 
past_interactions = [] 
interactions = [] 
now = -1 
new_data = [] 
for line in enumerate(data): 
    if line["time_local_s"] > now: 
        for tag_them, indices in past_interactions: 
            if tag_them not in data: 
                interactions.append(entry["tag_them"]) 

----------------编辑 2018 年 7 月 5 日------------

import pandas as pd 
df = pd.read_csv('filter20seconden1.csv') 
 
cols = df.columns.difference(['time_start', 'time_end']) 
grps = df.time_start.sub(df.time_end.shift()).gt(20).cumsum() 
gpby = df.groupby(grps) 
new = gpby.agg(dict(time_start='min',  
      time_end='max')).join(gpby[cols].sum()) 

请您参考如下方法:

正如您在评论中提到的,您不介意使用 pandas,这是一种解决方案。它有点长,可能有更有效的方法,但我认为它有效:

import pandas as pd 
# Read in your csv 
df = pd.read_csv('timemerger.csv') 
# Create a new column with an "interaction number" 
df = df.assign(interaction_num=(df.tag_them != df.tag_them.shift()).cumsum()) 
# Groupby the interaction number, and extract the min and max times: 
gb = (df.groupby('interaction_num') 
      .apply( 
          lambda x: pd.Series([x['time_local_s'].min(), 
                               x['time_local_s'].max()] 
          )) 
      .rename(columns={0:'time_start', 1:'time_end'})) 
# Merge the min and max times per interaction number with your original dataframe: 
df = df.merge(gb, left_on = 'interaction_num', right_index=True) 
# Create a new column for length of time, groupby interaction again, and take first value: 
df = (df.assign(total_time = df.time_end - df.time_start) 
      .groupby('interaction_num') 
      .first() 
      .drop('time_local_s', axis=1)) 
# Finally, save your dataframe: 
df.to_csv('output.csv', index=None) 

您的新 output.csv 将如下所示:

tag_me,tag_them,time_start,time_end,total_time 
0x597E5627,0x3C992634,1356,1363,7 
0x597E5627,0x7DA8FFB0,1364,1364,0 
0x597E5627,0x3C992634,1365,1366,1 
0x597E5627,0x7DA8FFB0,1366,1366,0 
0x597E5627,0x36570942,1366,1366,0 
0x597E5627,0x3C3A21AD,1369,1369,0 
0x597E5627,0x06497CA4,1370,1374,4 
0x597E5627,0x064F5882,1379,1379,0 

请注意,当交互在同一秒开始和结束时为零,而您想要的结果为 1。这很容易通过在 to_csv 之前使用 df.replace({'total_time':{0:1}}, inplace=True) 来改变(我把它放在那里是因为我认为否则您的数据将失去零秒交互与 1 秒交互之间的差异)。

分割:

第一个assign()和 .shift()为单独的交互创建一列:

       tag_me    tag_them  time_local_s  interaction_num 
... 
3  0x597E5627  0x3C992634          1362                1 
4  0x597E5627  0x3C992634          1363                1 
5  0x597E5627  0x7DA8FFB0          1364                2 
6  0x597E5627  0x3C992634          1365                3 
7  0x597E5627  0x3C992634          1365                3 
... 

然后,.groupby和lambda函数获取交互的min和max时间,重命名为time_start和时间结束:

                 time_start  time_end 
interaction_num                       
1                      1356      1363 
2                      1364      1364 
3                      1365      1366 
4                      1366      1366 
... 

然后您将该 groupby 的结果与您的原始数据框合并,其中 interaction_num 与索引相匹配,导致:

... 
3  0x597E5627  0x3C992634          1362                1        1356      1363 
4  0x597E5627  0x3C992634          1363                1        1356      1363 
5  0x597E5627  0x7DA8FFB0          1364                2        1364      1364 
6  0x597E5627  0x3C992634          1365                3        1365      1366 
7  0x597E5627  0x3C992634          1365                3        1365      1366 
... 

最后,您再次使用 assign 和 groupby interaction_num 创建时间差列,并删除不必要的 'time_local_s' 列,获取您的最终数据帧。