Skip to main content
 首页 » 编程设计

python之一列的乘法,如 f.sum

2024年11月24日10oomusou

我在数据框中有一列。我需要通过乘以该列中的值而不是将它们相加来聚合列。

ex = spark.createDataFrame([[1,2],[4,5]],['a','b']) 
ex.show() 
ex.agg(f.sum('a')).show() 

我想将列“a”与类似的语法相乘,而不是求和:

ex.agg(f.mul('a')).show() 

我想到的解决方法是:

ex.agg(f.exp(f.sum(f.log('a')))).show() 

但是计算 exp(sum(log)) 可能不够高效

结果应该是 4。 什么是最有效的方法?

请您参考如下方法:

没有内置的乘法聚合。您的解决方法对我来说似乎很有效,其他解决方案需要构建自定义聚合函数。

import pyspark.sql.functions as F 
ex = spark.createDataFrame([[1,2],[4,5], [6,7], [3,2], [9,8], [4,2]],['a','b']) 
ex.show() 
 
+---+---+ 
|  a|  b| 
+---+---+ 
|  1|  2| 
|  4|  5| 
|  6|  7| 
|  3|  2| 
|  9|  8| 
|  4|  2| 
+---+---+ 
 
# Solution 1 
ex.agg(F.exp(F.sum(F.log('a')))).show() 
 
+----------------+ 
|EXP(sum(LOG(a)))| 
+----------------+ 
|          2592.0| 
+----------------+ 
 
# Solution 2 
from pyspark.sql.types import IntegerType 
 
def mul_list(l): 
    return reduce(lambda x,y: x*y, l)  # In Python 3, use `from functools import reduce` 
 
udf_mul_list = F.udf(mul_list, IntegerType()) 
ex.agg(udf_mul_list(F.collect_list('a'))).show() 
 
+-------------------------------+ 
|mul_list(collect_list(a, 0, 0))| 
+-------------------------------+ 
|                           2592| 
+-------------------------------+ 
 
# Solution 3 
seqOp = (lambda local_result, row: local_result * row['a'] ) 
combOp = (lambda local_result1, local_result2: local_result1 * local_result2) 
ex_rdd = ex.rdd 
ex_rdd.aggregate( 1, seqOp, combOp) 
 
Out[4]: 2592 

现在让我们比较性能:

import random 
ex = spark.createDataFrame([[random.randint(1, 10), 3] for i in range(10000)],['a','b']) 
 
%%timeit 
ex.agg(F.exp(F.sum(F.log('a')))).count() 
 
10 loops, best of 3: 84.9 ms per loop 
 
%%timeit 
ex.agg(udf_mul_list(F.collect_list('a'))).count() 
 
10 loops, best of 3: 78.8 ms per loop 
 
%%timeit 
ex_rdd = ex.rdd 
ex_rdd.aggregate( 1, seqOp, combOp) 
 
10 loops, best of 3: 94.3 ms per loop 

性能在本地的一个分区上看起来差不多。在多个分区上尝试更大的数据框。

为了提高解决方案 2 和 3 的性能:build a custom aggregation function in Scala和 wrap it in Python