Skip to main content
 首页 » 编程设计

python之检测 Pandas 中缺失的列标签

2025年02月15日10www_RR

我正在处理此处概述的数据集: https://archive.ics.uci.edu/ml/datasets/Balance+Scale

我正在尝试创建一个通用函数,以便能够按照这两个规则解析任何分类数据:

  1. 必须有一个标签为 class 的列,其中包含对象的类

  2. 每一行的列数必须相同

我正在处理的数据的最小示例:

Class,LW,LD,RW,RD 
B,1,1,1,1 
L,1,2,1,1 
R,1,2,1,3 
R,2,2,4,5 

这提供了 3 个独特的类:B、L、R。它还提供了与每个条目相关的 4 个特征:LW、LD、RW 和 RD。

以下是我处理一般情况的函数的一部分,但我的问题是我不知道如何检查是否缺少任何列标签:

import pandas as pd 
import sys 
 
dataframe = pd.read_csv('Balance_Data.csv') 
columns = list(dataframe.columns.values) 
 
if "Class" not in columns: 
    sys.exit("'Class' is not a column in the data") 
 
if "Class.1" in columns: 
    sys.exit("Cannot specify more than one 'Class' column") 
 
columns.remove("Class") 
 
inputX = dataframe.loc[:, columns].as_matrix() 
inputY = dataframe.loc[:, ['Class']].as_matrix() 

此时,正确的值是:

inputX = array([[1, 1, 1, 1], 
                [1, 2, 1, 1], 
                [1, 2, 1, 3], 
                [2, 2, 4, 5]]) 
 
inputY = array([['B'], 
                ['L'], 
                ['R'], 
                ['R'], 
                ['R'], 
                ['R']], dtype=object) 

但如果我删除最后一列标签 (RD) 并重新处理,

Class,LW,LD,RW 
B,1,1,1,1 
L,1,2,1,1 
R,1,2,1,3 
R,2,2,4,5 

我得到:

inputX = array([[1, 1, 1], 
                [2, 1, 1], 
                [2, 1, 3], 
                [2, 4, 5]]) 
 
inputY = array([[1], 
                [1], 
                [1], 
                [2]]) 

这表明它从右到左而不是从左到右读取标签值,这意味着如果任何数据输入到此函数中但标签数量不正确,它将无法正常工作。

如何检查行的维度是否与列的数量相同? (可以假设数据本身没有间隙,超出列的每一行数据总是包含相同数量的元素)

请您参考如下方法:

我会把它拉出来如下:

In [11]: df = pd.read_csv('Balance_Data.csv', index_col=0) 
 
In [12]: df 
Out[12]: 
       LW  LD  RW  RD 
Class 
B       1   1   1   1 
L       1   2   1   1 
R       1   2   1   3 
R       2   2   4   5 

这样断言检查可以是:

if "Class" in df.columns: 
    sys.exit("class must be the first and only the column and number of columns must match all rows") 

然后检查最后一列中没有 NaN:

In [21]: df.iloc[:, -1].notnull().all() 
Out[21]: True 

注意:这发生在例如带有以下(错误的)csv:

In [31]: !cat bad.csv 
A,B,C 
1,2 
3,4 
 
In [32]: df = pd.read_csv('bad.csv', index_col=0) 
 
In [33]: df 
Out[33]: 
   B   C 
A 
1  2 NaN 
3  4 NaN 
 
In [34]: df.iloc[:, -1].notnull().all() 
Out[34]: False 

我认为这是仅有的两个失败案例(但我认为错误消息可以更清楚)...