我正在使用 PySpark 生成和验证预测。我有一个包含正确列的数据框,我将它传递给 MulticlassMetrics 以获取混淆矩阵。但是当我检查混淆矩阵时,它缺少大部分值(数据框有超过 120.000 行,混淆矩阵只有 8 个左右的值)。为什么它会丢失其余部分?
编辑:澄清一下,我不希望混淆矩阵与数据集大小相同,我的数据中有两个类,我希望矩阵实例的总和与数字相同我的数据中的行数。问题是我的数据中有大约 120.000 行,混淆矩阵类似于
[[ 0, 3 ], [ 1, 0 ]]
代码:我不能在这里发布整个代码,但这是重要的部分
training_data = load_training_data() # Spark DataFrame
training_data, testing_data = training_data.randomSplit([0.7, 0.3])
asm = VectorAssembler(inputCols=selected_columns, outputCol='features')
final_training_data = asm.transform(training_data)
rf = RandomForestClassifier(labelCol="label", impurity="entropy")
rfModel = rf.fit(final_training_data)
test_predictions = rfModel.transform(testing_data)
predictionAndLabels = test_predictions.select(['prediction', 'label'])
tp = predictionAndLabels.rdd.map(tuple)
metrics = MulticlassMetrics(tp)
请您参考如下方法:
这是一个很好的例子,说明如何使用 MulticlassMetrics .在此示例中,数据包含 150 个属于三个类别之一的观测值。结果,最终混淆矩阵的形状为 3x3,表示为单维的 DenseArray。如果您浏览链接中的示例并在到达 metrics = MulticlassMetrics(predictionAndLabels) 时停下来,您可以执行以下操作以可视化混淆矩阵。
In[6]: metrics = MulticlassMetrics(predictionAndLabels)
In[7]: confusion_mat = metrics.confusionMatrix()
In[8]: print(confusion_mat)
Out[8]: DenseMatrix(3, 3, [15.0, 0.0, 7.0, 0.0, 16.0, 0.0, 1.0, 0.0, 13.0], 0)
In[9]: print(confusion_mat.toArray())
Out[9]: array([[ 15., 0., 1.],
[ 0., 16., 0.],
[ 7., 0., 13.]])
最后的数组就是您将解释为混淆矩阵的内容。查看维基百科关于 Confusion Matrix 的条目有关更多信息和多类矩阵的一个很好的例子。
如果没有关于您的数据的更多信息,我不能肯定地说,但听起来您有一个 2x2 或 3x3 的混淆矩阵,您只需要调用 toArray 即可更好地可视化它。
编辑(感谢您添加代码。)
通常,当我运行 RandomForestClassifier.transform(test) 时,我最终得到一个 predictedLabel 列,它是预测的实际类别。此外,我认为您不必调用 predictionAndLabels.rdd.map(tuple)。在您选择 predictedLabel 和 test_predictions 中的“标签”后,您应该能够直接转到指标。总结尝试以下操作:
predictionAndLabels = test_predictions.select(['predictedLabel', 'label'])
metrics = MulticlassMetrics(predictionAndLabels)
