我正在尝试使用标签编码器将分类数据转换为数值。
我需要一个 LabelEncoder 来将我的缺失值保留为“NaN”,以便之后使用 Imputer。所以我想在这样标记后使用掩码替换原始数据框
df = pd.DataFrame({'A': ['x', np.NaN, 'z'], 'B': [1, 6, 9], 'C': [2, 1, np.NaN]})
A B C
0 x 1 2.0
1 NaN 6 1.0
2 z 9 NaN
dfTmp = df
mask = dfTmp.isnull()
A B C
0 False False False
1 True False False
2 False False True
所以我得到一个带有 True/false 值的数据框
然后,在创建编码器时:
df = df.astype(str).apply(LabelEncoder().fit_transform)
那么我该如何继续,或者对这些值进行编码?
谢谢
请您参考如下方法:
第一个问题是:您希望对每一列单独进行编码还是使用一种编码对所有列进行编码?
表达式 df = df.astype(str).apply(LabelEncoder().fit_transform) 表示您分别对所有列进行编码。
That case you can do the following:
df = df.apply(lambda series: pd.Series(
LabelEncoder().fit_transform(series[series.notnull()]),
index=series[series.notnull()].index
))
print(df)
Out:
A B C
0 0.0 0 1.0
1 NaN 1 0.0
2 1.0 2 NaN
下面解释它是如何工作的。但是,首先,我将介绍此解决方案的几个缺点。
缺点
首先,存在混合类型的列:如果列包含 NaN 值,则该列的类型为 float,因为 nan 在 python 中是 float 。
df.dtypes
A float64
B int64
C float64
dtype: object
对于labels来说好像没什么意义。好的,稍后你可以忽略所有的 nan 并将其余的转换为整数。
第二点是:您可能需要记住一个 LabelEncoder - 因为通常需要它来做,例如,逆变换。但是这个解决方案不会记住编码器,你没有这样的变量。
一个简单、明确的解决方案是:
encoders = dict()
for col_name in df.columns:
series = df[col_name]
label_encoder = LabelEncoder()
df[col_name] = pd.Series(
label_encoder.fit_transform(series[series.notnull()]),
index=series[series.notnull()].index
)
encoders[col_name] = label_encoder
print(df)
Out:
A B C
0 0.0 0 1.0
1 NaN 1 0.0
2 1.0 2 NaN
- 更多代码,但结果相同
print(encoders)
Out
{'A': LabelEncoder(), 'B': LabelEncoder(), 'C': LabelEncoder()}
- 此外,编码器可用。逆变换(之前应该去掉 nan!):
encoders['B'].inverse_transform(df['B'])
Out:
array([1, 6, 9])
此外,一些选项(例如一些用于编码器的注册表父类(super class))也可用,它们与第一个解决方案兼容,但更容易遍历列。
工作原理
df.apply(lambda series: ...) 应用一个返回 pd.Series 的函数给每一列;因此,它返回一个具有新值的数据框。
逐步表达:
pd.Series(
LabelEncoder().fit_transform(series[series.notnull()]),
index=series[series.notnull()].index
)
- series[series.notnull()] 丢弃 NaN 值,然后将其余值提供给 fit_transform。
- 当标签编码器返回一个 numpy.array 并抛出一个索引时,index=series[series.notnull()].index 将其恢复并连接起来正确。如果不做索引:
print(df)
Out:
A B C
0 x 1 2.0
1 NaN 6 1.0
2 z 9 NaN
df = df.apply(lambda series: pd.Series(
LabelEncoder().fit_transform(series[series.notnull()]),
))
print(df)
Out:
A B C
0 0.0 0 1.0
1 1.0 1 0.0
2 NaN 2 NaN
- 值偏离正确的位置 - 甚至可能发生 IndexError。
所有列的单一编码器
那种情况,堆栈数据帧,适合编码器,然后解压它
series_stack = df.stack().astype(str)
label_encoder = LabelEncoder()
df = pd.Series(
label_encoder.fit_transform(series_stack),
index=series_stack.index
).unstack()
print(df)
Out:
A B C
0 5.0 0.0 2.0
1 NaN 3.0 1.0
2 6.0 4.0 NaN
- 由于 series_stack 是包含 NaN 的 pd.Series,DataFrame 中的所有值都是 float ,因此您可能更喜欢转换它。
希望对您有所帮助。
