python之带有参数的 pyspark foreach

阅读 pyspark 文档我知道 foreach 是这样完成的:

def f(x): print(x) 
sc.parallelize([1, 2, 3, 4, 5]).foreach(f) 

但是，如果我使用带有多个参数的函数怎么办？

一个例子:

def f(x,arg1,arg2,arg3):  
    print(x*arg1+arg2+arg3) 

关键是要使用类似于此语法的内容:

sc.parallelize([1, 2, 3, 4, 5]).foreach(f(arg1=11,arg2=21,arg3=31)) 

请您参考如下方法:

你可以创建一个partial函数:

<b>from functools import partial</b> 
 
sc.parallelize([1, 2, 3, 4, 5]).foreach( 
    <b>partial(</b>f, arg1=11, arg2=21, arg3=31<b>)</b> 
 )

partial 将函数和一系列未命名 (*args) 和命名 (**kwargs) 参数作为输入，并生成一个 新 函数，如果您调用该函数，它将调用原始函数 f，其中已填入未命名和命名参数。