Skip to main content
 首页 » 编程设计

python之使用 scikit-learn 的一次性编码

2025年02月15日8kerrycode

我正在从事一个机器学习项目,我的数据集的一个特征由分类数据组成。此数据首先存储在 Pandas 系列 ( <class 'pandas.core.series.Series'> ) mesh 中尺寸为 (2000,) .行数对应于数据实例的总数。每行包含该数据实例所属类别的字符串,其中类别以逗号分隔。有数百种不同的类别。例如,

0       Aged, Angiotensin-Converting Enzyme Inhibitors... 
1       Aged, Angiotensin-Converting Enzyme Inhibitors... 
2       Adult, Aged, Aged, 80 and over, Angiotensin-Co... 
.... 

在这个例子中 Aged是一类并且Angiotensin-Converting Enzyme Inhibitors其他。正如您在示例中看到的,同一类别可能会出现多次,但如果该类别仅在字符串中出现一次,则编码应该没有差异。

我希望使用one-hot编码来表示它们。为了尝试做到这一点,我使用了这段代码:

mlb = MultiLabelBinarizer(sparse_output=True) 
for s in data: 
   pre_data = mlb.fit_transform(str(s).split(', ')) 
return pre_data, len(mlb.classes_) 

但是,这会产生一个维度为 (19, 37) 的 numpy 数组.为什么会这样?

回应MaxU's回答:

重新计算时str(s).split(', ')与 s.str.split(',\s*') ,这会产生此错误:

Traceback (most recent call last): 
  File ".../guidedLearning.py", line 166, in <module> 
    X, y = processTrainingData(directory, filename) 
  File ".../guidedLearning.py", line 130, in processTrainingData 
    pre_mesh, meshN = oneHot(mesh) 
  File ".../guidedLearning.py", line 73, in oneHot 
    pre_data = mlb.fit_transform(data.str.split(',\s*')) 
  File ".../sklearn/preprocessing/label.py", line 723, in fit_transform 
    yt = self._transform(y, class_mapping) 
  File ".../sklearn/preprocessing/label.py", line 781, in _transform 
    indices.extend(set(class_mapping[label] for label in labels)) 
TypeError: 'float' object is not iterable 

请您参考如下方法:

str(s) 将 Pandas.Series 的字符串转换为单个字符串,由 '\n' 分隔,因此使用 Pandas.Series.str。 split() 方法代替。

替换

str(s).split(', ') 

与

s.str.split(',\s*') 

演示:

In [88]: s 
Out[88]: 
0       Aged, Angiotensin-Converting Enzyme Inhibitors 
1       Aged, Angiotensin-Converting Enzyme Inhibitors 
2    Adult, Aged, Aged, 80 and over, Angiotensin-Co... 
Name: s, dtype: object 
 
In [89]: mlb = MultiLabelBinarizer(sparse_output=True) 
 
In [90]: pre_data = mlb.fit_transform(s.str.split(',\s*')) 
 
In [91]: mlb.classes_ 
Out[91]: array(['80 and over', 'Adult', 'Aged', 'Angiotensin-Converting Enzyme Inhibitors'], dtype=object) 
 
In [92]: pre_data.toarray() 
Out[92]: 
array([[0, 0, 1, 1], 
       [0, 0, 1, 1], 
       [1, 1, 1, 1]])