Skip to main content
 首页 » 编程设计

python之从 Pandas 数据框中删除低频项

2024年12月31日8cyq1162

我正在玩 Last.fm数据集。该数据集由用户 ID、艺术家姓名和播放次数组成。像这样:

    user                                        artist                  plays 
0   00000c289a1829a808ac09c00daf10bc3c4e223b    betty blowtorch         2137 
1   00000c289a1829a808ac09c00daf10bc3c4e223b    die Ärzte               1099 
2   00000c289a1829a808ac09c00daf10bc3c4e223b    melissa etheridge       897 
3   00000c289a1829a808ac09c00daf10bc3c4e223b    elvenking               717 
4   00000c289a1829a808ac09c00daf10bc3c4e223b    juliette & the licks    706 

现在,我要做的是稍微清理一下这些数据。由于许多名称不正确,我想删除所有用户播放次数少于 50 次的艺术家。

我想,我应该使用 groupby 并尝试对它们进行计数。但由于我对 pandas 有点陌生,而且我的数据集非常大,所以我想知道删除这些项目的最佳做法是什么。

长话短说:
移除出现次数最少的艺术家的最佳方法是什么?

附言(编辑):
所需的输出将是一个与输入具有相同架构的数据框,但已播放的艺术家(他们在所有用户上播放的总和)少于特定数量。

PS2: 例如我有这个数据集:

df = pd.DataFrame({ 
    'user': 3 * ('abc'), 
    'artist': 3 * ('metallica', 'coldplay', 'dfj'), 
    'plays': [100,24,0,48,135,10,62,38,2] 
}) 

所以我们有这个数据框:

    user    artist      plays 
0   a       metallica   100 
1   a       coldplay     24 
2   a       dfj           3 
3   b       metallica    48 
4   b       coldplay    135 
5   b       dfj          10 
6   c       metallica    62 
7   c       coldplay     38 
8   c       dfj           2 

现在“dfj”总共只播放了 15 次。我想删除“dfj”并返回如下内容:

    user    artist      plays 
0   a       metallica   100 
1   a       coldplay     24 
3   b       metallica    48 
4   b       coldplay    135 
6   c       metallica    62 
7   c       coldplay     38 

请您参考如下方法:

我相信你需要boolean indexing与 GroupBy.transform对于具有与原始 DataFrame 相同大小的聚合值的系列:

print (df.groupby('artist')['plays'].transform('sum')) 
0    210 
1    197 
2     12 
3    210 
4    197 
5     12 
6    210 
7    197 
8     12 
Name: plays, dtype: int64 
 
df1 = df[df.groupby('artist')['plays'].transform('sum') > 50] 
print (df1) 
        user     artist  plays 
0  abcabcabc  metallica    100 
1  abcabcabc   coldplay     24 
3  abcabcabc  metallica     48 
4  abcabcabc   coldplay    135 
6  abcabcabc  metallica     62 
7  abcabcabc   coldplay     38