Skip to main content
 首页 » 编程设计

python之创建唯一列表 : comparing dict objects

2025年02月15日9傻小

我有一个对象列表:带有 ID、日期和对象类型的指示。例如

original_list = [{'id':1,'date':'2016-01-01','type':'A'}, 
                 {'id':2,'date':'2016-02-01','type':'B'}, 
                 {'id':3,'date':'2016-03-01','type':'A'}, 
                 {'id':1,'date':'2016-04-01','type':'C'}] 

如上所示,此列表可以包含重复的 ID 和不同的日期、类型。现在我想创建一个唯一 ID 列表,其中只包含最后一个条目(基于日期)。现在我有一个程序如下:

# Create list of unique id's 
unique_ids = list(set([foo.get('id') for foo in original_list])) 
 
# find last contact 
for unique_id in unique_ids: 
    foo_same_id = [foo for foo in original_list if foo.get('id') == unique_id] 
    if len(foo_same_id) == 1: 
        # use this one 
    else: 
        latest_date = [foo.get('date') for foo in foo_same_id] 
        latest_date = max(latest_date) 
        latest_object = [foo for foo in foo_same_id if foo.get('date') == latest_date] 

在此之后,具有相同 id 的列表按日期排序,并且是用于填充对象类型的类型的最后一个值。那时我不再需要这些对象并复制了两个列表(original_list 和 unique_ids),但没有处理过的对象/id。

这似乎可行,但当应用到 200.000 + 时,它会花费很多时间(+ 4 小时)。有什么办法可以加快速度吗?不同的实现?目前我正在从数据库中读取数据并立即开始处理。

请您参考如下方法:

不是使用 set 和其他额外操作创建所有唯一 ID,然后遍历列表并使用所有这些额外操作 操作,您可以简单地使用自定义词典,以便根据其 ID 保存您的词典。而且由于字典只保留 独特的项目,如果你重写 __setitem__ 方法,它只根据日期替换值(如果它大于当前日期) 您只需创建您的愿望 list 。

from datetime import datetime 
 
 
class UniqueDict(dict): 
    def __init__(self, *args, **kwds): 
        super(UniqueDict, self).__init__(*args, **kwds) 
 
    def __setitem__(self, _id, value): 
        current = self.get(_id) 
        if current: 
            date_obj = datetime.strptime(value['date'], '%Y-%m-%d') 
            current_date_obj = datetime.strptime(self[_id]['date'], '%Y-%m-%d') 
            if date_obj > current_date_obj: 
                dict.__setitem__(self, _id, value) 
        else: 
            dict.__setitem__(self, _id, value) 

演示:

original_list = [{'id':1,'date':'2016-01-01','type':'A'}, 
                 {'id':2,'date':'2016-02-01','type':'B'}, 
                 {'id':3,'date':'2016-03-01','type':'A'}, 
                 {'id':1,'date':'2016-04-01','type':'C'}] 
 
 
udict = UniqueDict() 
 
for d in original_list: 
    udict[d['id']] = d 
 
print(udict) 

输出:

{1: {'id': 1, 'date': '2016-04-01', 'type': 'C'}, 
 2: {'id': 2, 'date': '2016-02-01', 'type': 'B'}, 
 3: {'id': 3, 'date': '2016-03-01', 'type': 'A'}} 

注意,如评论中所述,在这种情况下,您也可以放弃使用 datetime 将日期字符串转换为日期对象以进行比较,因为 ISO 格式的日期可以是按词典顺序比较。