python之在 Python 中使用 RDD 与 Spark SQL 计算标准偏差

我是 spark 世界的新手(甚至是 Python，但更好)。我正在尝试计算标准偏差并使用了以下代码。第一次使用SparkSQL，代码如下:

 sqlsd=spark.sql("SELECT STDDEV(temperature) as stdtemp from  
 washing").first().stdtemp 
 print(sqlsd) 

以上工作正常(我认为)，结果为 6.070

现在，当我尝试使用带有以下代码的 RDD 执行此操作时:-

 def sdTemperature(df,spark): 
    n=float(df.count()) 
    m=meanTemperature(df,spark)  
    df=df.fillna({'_id':0,'_rev':0,'count':0,'flowrate':0,'fluidlevel':0, 
   'frequency':0,'hardness':0,'speed':0,'temperature':0,'ts':0,'voltage':0}) 
    rddT=df.rdd.map(lambda r: r.temperature) 
    c=rddT.count() 
    s=rddT.map(lambda x: pow(x-m,2)).sum() 
    print(n,c,s) 
    sd=sqrt(s/c) 
    return sd 

当我运行上面的代码时，我得到了不同的结果。我得到的值是 53.195

我做错了什么？我上面要做的就是计算 spark 数据框列温度的标准偏差并使用 lambda。

在此先感谢您的帮助..

请您参考如下方法:

感谢 Zero323 给了我线索。我跳过了空值。修改后的代码如下:-

 df2=df.na.drop(subset=["temperature"]) 
 rddT=df2.rdd.map(lambda r: r.temperature) 
 c=rddT.count() 
 s=rddT.map(lambda x: pow(x-m,2)).sum() 
 sd=math.sqrt(s/c) 
 return(sd)