Skip to main content
 首页 » 编程设计

python之将缺失值保留为 'NaN' 的 LabelEncoder

2024年12月31日7sharpest

我正在尝试使用标签编码器将分类数据转换为数值。

我需要一个 LabelEncoder 来将我的缺失值保留为“NaN”,以便之后使用 Imputer。所以我想在这样标记后使用掩码替换原始数据框

df = pd.DataFrame({'A': ['x', np.NaN, 'z'], 'B': [1, 6, 9], 'C': [2, 1, np.NaN]}) 
 
 
    A   B   C 
0   x   1   2.0 
1   NaN 6   1.0 
2   z   9   NaN 
 
 
dfTmp = df 
mask = dfTmp.isnull() 
 
       A    B   C 
0   False   False   False 
1   True    False   False 
2   False   False   True 

所以我得到一个带有 True/false 值的数据框

然后,在创建编码器时:

df = df.astype(str).apply(LabelEncoder().fit_transform) 

那么我该如何继续,或者对这些值进行编码?

谢谢

请您参考如下方法:

第一个问题是:您希望对每一列单独进行编码还是使用一种编码对所有列进行编码?

表达式 df = df.astype(str).apply(LabelEncoder().fit_transform) 表示您分别对所有列进行编码。

That case you can do the following: 
df = df.apply(lambda series: pd.Series( 
    LabelEncoder().fit_transform(series[series.notnull()]), 
    index=series[series.notnull()].index 
)) 
print(df) 
Out: 
     A  B    C 
0  0.0  0  1.0 
1  NaN  1  0.0 
2  1.0  2  NaN 

下面解释它是如何工作的。但是,首先,我将介绍此解决方案的几个缺点。

缺点
首先,存在混合类型的列:如果列包含 NaN 值,则该列的类型为 float,因为 nan 在 python 中是 float 。

df.dtypes 
A    float64 
B      int64 
C    float64 
dtype: object 

对于labels来说好像没什么意义。好的,稍后你可以忽略所有的 nan 并将其余的转换为整数。

第二点是:您可能需要记住一个 LabelEncoder - 因为通常需要它来做,例如,逆变换。但是这个解决方案不会记住编码器,你没有这样的变量。

一个简单、明确的解决方案是:

encoders = dict() 
 
for col_name in df.columns: 
    series = df[col_name] 
    label_encoder = LabelEncoder() 
    df[col_name] = pd.Series( 
        label_encoder.fit_transform(series[series.notnull()]), 
        index=series[series.notnull()].index 
    ) 
    encoders[col_name] = label_encoder 
 
print(df) 
Out: 
     A  B    C 
0  0.0  0  1.0 
1  NaN  1  0.0 
2  1.0  2  NaN 

- 更多代码,但结果相同

print(encoders) 
Out 
{'A': LabelEncoder(), 'B': LabelEncoder(), 'C': LabelEncoder()} 

- 此外,编码器可用。逆变换(之前应该去掉 nan!):

encoders['B'].inverse_transform(df['B']) 
Out: 
array([1, 6, 9]) 

此外,一些选项(例如一些用于编码器的注册表父类(super class))也可用,它们与第一个解决方案兼容,但更容易遍历列。

工作原理

df.apply(lambda series: ...) 应用一个返回 pd.Series 的函数给每一列;因此,它返回一个具有新值的数据框。

逐步表达:

pd.Series( 
    LabelEncoder().fit_transform(series[series.notnull()]), 
    index=series[series.notnull()].index 
) 

- series[series.notnull()] 丢弃 NaN 值,然后将其余值提供给 fit_transform。

- 当标签编码器返回一个 numpy.array 并抛出一个索引时,index=series[series.notnull()].index 将其恢复并连接起来正确。如果不做索引:

print(df) 
Out: 
     A  B    C 
0    x  1  2.0 
1  NaN  6  1.0 
2    z  9  NaN 
df = df.apply(lambda series: pd.Series( 
    LabelEncoder().fit_transform(series[series.notnull()]), 
)) 
print(df) 
Out: 
     A  B    C 
0  0.0  0  1.0 
1  1.0  1  0.0 
2  NaN  2  NaN 

- 值偏离正确的位置 - 甚至可能发生 IndexError。

所有列的单一编码器

那种情况,堆栈数据帧,适合编码器,然后解压它

series_stack = df.stack().astype(str) 
label_encoder = LabelEncoder() 
df = pd.Series( 
    label_encoder.fit_transform(series_stack), 
    index=series_stack.index 
).unstack() 
print(df) 
Out: 
     A    B    C 
0  5.0  0.0  2.0 
1  NaN  3.0  1.0 
2  6.0  4.0  NaN 

- 由于 series_stack 是包含 NaN 的 pd.Series,DataFrame 中的所有值都是 float ,因此您可能更喜欢转换它。

希望对您有所帮助。