Skip to main content
 首页 » 编程设计

python之pandas之从具有多个值的列中删除重复项,计算项目

2025年01月19日10zfyouxi

我正在尝试删除每行的重复项,然后为该用户创建一个列,其中包含每行中的计数。

当前数据框

    handle            tweet 
 
0   CaptainNormal     [@WayneDupreeShow, #climatechange, @Wsow] 
1   Cebel6            [@NWAJimmy, @NWAJimmy, @gaystoner821] 
2   davidjwalling     [#infosec, #Intel, #ACM, #IEEE] 
3   nolaguy_phd       [@gaystoner821] 

所需的数据框

    handle            tweet                                        count 
 
0   CaptainNormal     [@WayneDupreeShow, #climatechange, @Wsow]    3 
1   Cebel6            [@NWAJimmy, @gaystoner821]                   2 
2   davidjwalling     [#infosec, #Intel, #ACM, #IEEE]              4 
3   nolaguy_phd       [@gaystoner821]                              1 

我试过类似的东西

df.tweet.apply(tuple).value_counts() 

但对所有内容都返回 1。

请您参考如下方法:

如果值是string,首先转换:

print (type(df.loc[0, 'tweet'])) 
<class 'str'> 
 
import ast 
df['tweet'] = df['tweet'].apply(ast.literal_eval) 

备选方案:

df['tweet'] = df['tweet'].str.strip('[]').str.split(',\s+') 

然后转换为set并获取长度:

print (type(df.loc[0, 'tweet'])) 
<class 'list'> 
 
df['tweet'] = df['tweet'].apply(lambda x: list(set(x))) 
df['count'] = df['tweet'].str.len() 
print (df) 
          handle                                      tweet  count 
0  CaptainNormal  [#climatechange, @Wsow, @WayneDupreeShow]      3 
1         Cebel6                 [@NWAJimmy, @gaystoner821]      2 
2  davidjwalling            [#ACM, #IEEE, #infosec, #Intel]      4 
3    nolaguy_phd                            [@gaystoner821]      1