我有一个 Pandas 数据集,我想在应用我的 ML 算法之前清理它。我想知道如果某列的某个元素与一组值不匹配,是否可以删除该行。例如,如果我有数据框:
a b
0 1 6
1 4 7
2 2 4
3 3 7
...
我希望 a 的值是 [1,3] 之一,b 的值是 之一[6,7],这样我的最终数据集是:
a b
0 1 6
1 3 7
...
目前,我的实现无法正常工作,因为我的一些数据行的值附加了错误的字符串。例如,我将使用类似 1abc 的值,而不是 1。因此,为什么我想删除不是该值的整数的任何内容。
我的解决方法也有点陈旧,因为我正在通过以下方式删除 a 列中没有 1 或 3 的条目:
dataset = dataset[(dataset.commute != 1)]
dataset = dataset[(dataset.commute != 3)]
请您参考如下方法:
您可以使用 boolean indexing双isin和&:
df1 = df[(df['a'].isin([1,3])) & (df['b'].isin([6,7]))]
print (df1)
a b
0 1 6
3 3 7
或者使用numpy.in1d :
df1 = df[(np.in1d(df['a'], [1,3])) & (np.in1d(df['b'], [6,7])) ]
print (df1)
a b
0 1 6
3 3 7
但如果需要删除所有非数字行则需要 to_numeric使用 errors='coerce' 返回 NaN 然后可以通过 notnull 过滤它:
df = pd.DataFrame({'a':['1abc','2','3'],
'b':['4','5','dsws7']})
print (df)
a b
0 1abc 4
1 2 5
2 3 dsws7
mask = pd.to_numeric(df['a'], errors='coerce').notnull() &
pd.to_numeric(df['b'], errors='coerce').notnull()
df1 = df[mask].astype(int)
print (df1)
a b
1 2 5
如果需要检查某个值是NaN还是None:
df = pd.DataFrame({'a':['1abc',None,'3'],
'b':['4','5',np.nan]})
print (df)
a b
0 1abc 4
1 None 5
2 3 NaN
print (df[df.isnull().any(axis=1)])
a b
1 None 5
2 3 NaN
