Skip to main content
 首页 » 编程设计

python之如何提高大型数据集中的 Python 计算速度

2024年11月01日12shangdawei

我有一个很大的数据集,它包含与真实网站中的照片对应的标签(500 000条记录,每条记录至少包含一个标签)

例子:

标签1

标签1 标签2 标签3

tag1 tag12 tag99

以此类推,50万次

我尝试根据数据集中每个标签的出现次数来计算标签的权重。对于 500 行,代码运行良好(0.1 秒),但对于整个数据,它需要数小时和数小时(超过 8),即使对于 PyPy

我假设我做错了什么并且使用 Python 效率低下。这是计算权重的代码:

for i, photo in enumerate(data): 
  for j, tag in enumerate(photo):    
    if (tag not in tag_set): 
      tag_set.append(tag) 
      tag_w.append(log(len(data)) - log(sum(x.count(tag) for x in data))) 

我怎样才能加快速度?

谢谢!

请您参考如下方法:

x.count(tag) for x in data 

这部分遍历所有数据中的所有标签。您对每个标签 执行一次。这是很多不必要的循环。使用 Counter 或 defaultdict(int) 对标签计数一次。如果使用 Counter 仍然很慢,defaultdict(int) 可能更快,或者甚至可能只是一个普通的 dict。我将使用 Counter:

import collections 
import itertools 
tag_counts = collections.Counter(itertools.chain.from_iterable(data)) 
tag_to_weight_dict = {tag: weight_function(count) 
                      for tag, count in tag_counts.items()}