Skip to main content
 首页 » 编程设计

python之使用 scikit learn 仅输入数值

2024年11月24日10zlslch

因此,我有一个包含分类值和数值的混合的 DataFrame,当前为 12345 行乘以 171 列。

我在分类变量和数字变量中都缺少值,我想在其中估算值。对于数字列,我正在执行以下操作;

import pandas as pd 
import numpy as np 
 
data = pd.read_csv('filepath') 
 
from sklearn.preprocessing import Imputer 
imp = Imputer(missing_values=np.nan, strategy='mean', axis=0) 
data = imp.fit_transform(data) 

然后我得到以下错误

ValueError: could not convert string to float: 'USD'

我的理解是因为我正在使用 sci-kit 学习带有 strategy='mean' 的 imputer,它与分类变量不兼容。我宁愿不必遍历每一列并手动提取数值,所以我正在寻找一种方法,我可以仅在数值列上执行此插补。

请您参考如下方法:

如果你使用 Pandas 的categorical encoding功能,这一切都可以非常简单地处理。然而,我很少发现自己有正确编码的数据,我宁愿有一个健壮的解决方案也不愿依赖纯 pandas。

这是我会做的。

categorical_columns = [] 
numeric_columns = [] 
for c in data.columns: 
    if data[c].map(type).eq(str).any(): #check if there are any strings in column 
        categorical_columns.append(c) 
    else: 
        numeric_columns.append(c) 
 
#create two DataFrames, one for each data type 
data_numeric = data[numeric_columns] 
data_categorical = pd.DataFrame(data[categorical_columns]) 
 
 
from sklearn.preprocessing import Imputer 
imp = Imputer(missing_values=np.nan, strategy='mean', axis=0) 
data_numeric = pd.DataFrame(imp.fit_transform(data_numeric), columns = data_numeric.columns, index=data_numeric.index) #only apply imputer to numeric columns 
 
 
#you could do something like one-hot-encoding of data_categorical here 
 
#join the two masked dataframes back together 
data_joined = pd.concat([data_numeric, data_categorical], axis = 1)