Skip to main content
 首页 » 编程设计

python之混淆矩阵缺失实例

2025年02月15日7落叶无声

我正在使用 PySpark 生成和验证预测。我有一个包含正确列的数据框,我将它传递给 MulticlassMetrics 以获取混淆矩阵。但是当我检查混淆矩阵时,它缺少大部分值(数据框有超过 120.000 行,混淆矩阵只有 8 个左右的值)。为什么它会丢失其余部分?

编辑:澄清一下,我不希望混淆矩阵与数据集大小相同,我的数据中有两个类,我希望矩阵实例的总和与数字相同我的数据中的行数。问题是我的数据中有大约 120.000 行,混淆矩阵类似于
[[ 0, 3 ], [ 1, 0 ]]

代码:我不能在这里发布整个代码,但这是重要的部分

training_data = load_training_data() # Spark DataFrame 
training_data, testing_data = training_data.randomSplit([0.7, 0.3]) 
 
asm = VectorAssembler(inputCols=selected_columns, outputCol='features') 
final_training_data = asm.transform(training_data) 
 
rf = RandomForestClassifier(labelCol="label", impurity="entropy") 
rfModel = rf.fit(final_training_data) 
 
test_predictions = rfModel.transform(testing_data) 
predictionAndLabels = test_predictions.select(['prediction', 'label']) 
 
tp = predictionAndLabels.rdd.map(tuple) 
metrics = MulticlassMetrics(tp) 

请您参考如下方法:

这是一个很好的例子,说明如何使用 MulticlassMetrics .在此示例中,数据包含 150 个属于三个类别之一的观测值。结果,最终混淆矩阵的形状为 3x3,表示为单维的 DenseArray。如果您浏览链接中的示例并在到达 metrics = MulticlassMetrics(predictionAndLabels) 时停下来,您可以执行以下操作以可视化混淆矩阵。

In[6]: metrics = MulticlassMetrics(predictionAndLabels) 
In[7]: confusion_mat = metrics.confusionMatrix() 
In[8]: print(confusion_mat) 
Out[8]: DenseMatrix(3, 3, [15.0, 0.0, 7.0, 0.0, 16.0, 0.0, 1.0, 0.0, 13.0], 0) 
In[9]: print(confusion_mat.toArray()) 
Out[9]: array([[ 15.,   0.,   1.], 
               [  0.,  16.,   0.], 
               [ 7.,   0.,  13.]]) 

最后的数组就是您将解释为混淆矩阵的内容。查看维基百科关于 Confusion Matrix 的条目有关更多信息和多类矩阵的一个很好的例子。

如果没有关于您的数据的更多信息,我不能肯定地说,但听起来您有一个 2x2 或 3x3 的混淆矩阵,您只需要调用 toArray 即可更好地可视化它。

编辑(感谢您添加代码。)

通常,当我运行 RandomForestClassifier.transform(test) 时,我最终得到一个 predictedLabel 列,它是预测的实际类别。此外,我认为您不必调用 predictionAndLabels.rdd.map(tuple)。在您选择 predictedLabel 和 test_predictions 中的“标签”后,您应该能够直接转到指标。总结尝试以下操作:

predictionAndLabels = test_predictions.select(['predictedLabel', 'label']) 
metrics = MulticlassMetrics(predictionAndLabels)