Skip to main content
 首页 » 编程设计

python之优化涉及多个元组求和的复杂列表操作(在 python 中)

2025年02月15日15www_RR

在 python 应用程序中,用户上传照片并根据点赞数和独特评论进行评分。现在假设我们为每张照片创建了一个元组,格式为:(uploader_id, vote_score, comment_count)。接下来,假设我们为所有上传的照片维护一个元组列表。

例如示例列表可以是:[(1,12,3),(1,-1,6),(2,30,10),(1,0,0),(2,0,1) ]。这显示上传了 5 张照片,其中 3 张照片由 uploader_id 1 上传,2 张由 uploader_id 2 上传。

我想将上述列表缩减为 [(uploader_id, net_score)]。这里的 net_score 是特定用户的所有 vote_score 和 comment_count 值的总和,除以该用户上传的照片数量。

例如上述示例列表将产生 [(1,(11+9)/3),(2,(30+11)/2)] = [(1,6.67),( 2,20.5)]

执行此列表操作的最高效方法是什么?我已经完成了(见下文)但有多个 for 循环。有没有更有效的方法?


这是我目前正在做的事情:

from collections import defaultdict, Counter 
 
photos_score_list = # list of the format [(uploader_id, vote_score, comment_count)] 
photos_total_score_list= [ (k,v1+v2) for k,v1,v2 in photos_score_list] 
total_photos = Counter(elem[0] for elem in photos_total_score_list) #dictionary, e.g. Counter({2: 8, 1: 7}) 
total_scores = defaultdict(int) 
for key,val in photos_total_score_list: 
    total_scores[key] += val 
uploader_scores = [] 
for key,val in total_scores.items(): 
    uploader_scores.append(key) 
    uploader_scores.append(val/total_photos[key]) 
set_benchmark(uploader_scores) 

请注意,uploader_scores 以未打包的元组结束(即 [1,6.67,2,20.5] 而不是 [(1,6.67),(2 ,20.5)]。这是故意的——我将列表提供给一个 redis 排序的集合,这是最好的方法(即不要担心)。

请您参考如下方法:

我认为使用 numpy/pandas 可以获得更好的性能。我会将数据加载到 DataFrame 中并使用如下分组方法:

import pandas as pd  
import numpy as np 
from pandas import DataFrame 
 
lst = [(1,12,3),(1,-1,6),(2,30,10),(1,0,0),(2,0,1)] 
df = DataFrame(lst) 
df[3] = df[1]+df[2] # adding the comment and vote count 

编号为 0 的列包含 uploader_id:

gb = df.groupby(0) 
gb.agg(sum) 

最后一个表达式产生一个 DataFrame。最后一列包含您感兴趣的数据:

    1   2   3 
0             
1   11  9   20 
2   30  11  41 

如果您还想除以用户上传的照片数量:

gb = df.groupby(0).aggregate(lambda x: np.sum(x)/float(len(x))) 

产生:

    1           2   3 
0            
1   3.666667    3.0 6.666667 
2   15.000000   5.5 20.500000