Skip to main content
 首页 » 编程设计

python之为每个变量找到最频繁的值(众数)

2025年05月04日9webabcd

我有一个类似这样的RDD

color  category 
green  a 
green  b 
red    a 
orange a 
green  b 
red    d 
green  c 
red    d 
green  e 

我正在尝试为每种颜色找到最常见的类别。 像这样:

[green, b]  : 2 
[red, d ]   : 2 
[orange, a] : 1 

使用后我已经完成了一半

rdd.countByValue() 

在这种情况下会返回这样的字典:

(color=u'green', category=u'a'): 1 
(color=u'green', category=u'b'): 2 
(color=u'green', category=u'c'): 1 
(color=u'green', category=u'e'): 1 
(color=u'red', category=u'a'): 1 
(color=u'red', category=u'd'): 2 
(color=u'orange', category=u'a'): 1 

从这一步我不知道如何获得每种颜色最常见的类别。 提前致谢。

编辑:我正在尝试使用 contentDF.groupBy('color').agg({'category' : 'max'}).collect() 的不同方法,但我相信 agg 参数是错误的,因为它给出了整个表的总体最大值。有什么建议么?我觉得我越来越接近了!

编辑:我仍在寻找解决方案... 现在我有一个这样的表:

 color category frequency 
 green   a         1 
 green   b         2 
 green   c         1 
 green   e         1 
 red     a         1 
 red     d         2 
 orange  a         1 

谁能建议一个 Spark SQL 查询来选择每个颜色组的最大值?

请您参考如下方法:

你可以使用collections.defaultdict:

import collections 
with open("your_file") as f: 
    my_dict = collections.defaultdict(int) 
    next(f) 
    for x in f: 
        my_dict[x.strip()] +=1 
    print my_dict