Skip to main content
 首页 » 编程设计

python之删除不包含指定整数值的行(Pandas)

2025年02月15日8cloudgamer

我有一个 Pandas 数据集,我想在应用我的 ML 算法之前清理它。我想知道如果某列的某个元素与一组值不匹配,是否可以删除该行。例如,如果我有数据框:

    a    b     
0   1    6     
1   4    7     
2   2    4     
3   3    7     
... 

我希望 a 的值是 [1,3] 之一,b 的值是 之一[6,7],这样我的最终数据集是:

    a    b 
0   1    6 
1   3    7 
... 

目前,我的实现无法正常工作,因为我的一些数据行的值附加了错误的字符串。例如,我将使用类似 1abc 的值,而不是 1。因此,为什么我想删除不是该值的整数的任何内容。

我的解决方法也有点陈旧,因为我正在通过以下方式删除 a 列中没有 1 或 3 的条目:

dataset = dataset[(dataset.commute != 1)] 
dataset = dataset[(dataset.commute != 3)] 

请您参考如下方法:

您可以使用 boolean indexing双isin和&:

df1 = df[(df['a'].isin([1,3])) & (df['b'].isin([6,7]))] 
print (df1) 
   a  b 
0  1  6 
3  3  7 

或者使用numpy.in1d :

df1 = df[(np.in1d(df['a'], [1,3])) & (np.in1d(df['b'], [6,7])) ] 
print (df1) 
   a  b 
0  1  6 
3  3  7 

但如果需要删除所有非数字行则需要 to_numeric使用 errors='coerce' 返回 NaN 然后可以通过 notnull 过滤它:

df = pd.DataFrame({'a':['1abc','2','3'], 
                   'b':['4','5','dsws7']}) 
 
print (df) 
      a      b 
0  1abc      4 
1     2      5 
2     3  dsws7 
 
mask = pd.to_numeric(df['a'], errors='coerce').notnull() &  
       pd.to_numeric(df['b'], errors='coerce').notnull() 
df1 = df[mask].astype(int) 
print (df1) 
   a  b 
1  2  5 

如果需要检查某个值是NaN还是None:

df = pd.DataFrame({'a':['1abc',None,'3'], 
                   'b':['4','5',np.nan]}) 
print (df) 
      a    b 
0  1abc    4 
1  None    5 
2     3  NaN 
 
print (df[df.isnull().any(axis=1)]) 
      a    b 
1  None    5 
2     3  NaN