python之从 PySpark 中的两个不同数据框中减去列的值以查找 RMSE

我想不通。我正在尝试计算测试数据和预测数据之间的 RMSE。

测试

col1    col2 
 a        2  
 b        3 

预测

col1   col2 
 a       4  
 b       5 

我正在尝试做这个测试(col2)-预测(col2)。那就是

2-4 =-2 
3-5 =-2 

我试过了

test.select("col2").subtract(prediction.select("col2")) 

但我没有得到所需的结果。我试图获得此结果以找到 RMSE。 spark 中是否有用于查找 RMSE 的内置函数？

谢谢。

请您参考如下方法:

它是一个连接和一个算术减法:

test.join(prediction, on="col1").withColumn("sub", test.col2-prediction.col2)