我正在从事一个机器学习项目,我的数据集的一个特征由分类数据组成。此数据首先存储在 Pandas 系列 ( <class 'pandas.core.series.Series'> ) mesh 中尺寸为 (2000,) .行数对应于数据实例的总数。每行包含该数据实例所属类别的字符串,其中类别以逗号分隔。有数百种不同的类别。例如,
0 Aged, Angiotensin-Converting Enzyme Inhibitors...
1 Aged, Angiotensin-Converting Enzyme Inhibitors...
2 Adult, Aged, Aged, 80 and over, Angiotensin-Co...
....
在这个例子中 Aged是一类并且Angiotensin-Converting Enzyme Inhibitors其他。正如您在示例中看到的,同一类别可能会出现多次,但如果该类别仅在字符串中出现一次,则编码应该没有差异。
我希望使用one-hot编码来表示它们。为了尝试做到这一点,我使用了这段代码:
mlb = MultiLabelBinarizer(sparse_output=True)
for s in data:
pre_data = mlb.fit_transform(str(s).split(', '))
return pre_data, len(mlb.classes_)
但是,这会产生一个维度为 (19, 37) 的 numpy 数组.为什么会这样?
回应MaxU's回答:
重新计算时str(s).split(', ')与 s.str.split(',\s*') ,这会产生此错误:
Traceback (most recent call last):
File ".../guidedLearning.py", line 166, in <module>
X, y = processTrainingData(directory, filename)
File ".../guidedLearning.py", line 130, in processTrainingData
pre_mesh, meshN = oneHot(mesh)
File ".../guidedLearning.py", line 73, in oneHot
pre_data = mlb.fit_transform(data.str.split(',\s*'))
File ".../sklearn/preprocessing/label.py", line 723, in fit_transform
yt = self._transform(y, class_mapping)
File ".../sklearn/preprocessing/label.py", line 781, in _transform
indices.extend(set(class_mapping[label] for label in labels))
TypeError: 'float' object is not iterable
请您参考如下方法:
str(s) 将 Pandas.Series 的字符串转换为单个字符串,由 '\n' 分隔,因此使用 Pandas.Series.str。 split() 方法代替。
替换
str(s).split(', ')
与
s.str.split(',\s*')
演示:
In [88]: s
Out[88]:
0 Aged, Angiotensin-Converting Enzyme Inhibitors
1 Aged, Angiotensin-Converting Enzyme Inhibitors
2 Adult, Aged, Aged, 80 and over, Angiotensin-Co...
Name: s, dtype: object
In [89]: mlb = MultiLabelBinarizer(sparse_output=True)
In [90]: pre_data = mlb.fit_transform(s.str.split(',\s*'))
In [91]: mlb.classes_
Out[91]: array(['80 and over', 'Adult', 'Aged', 'Angiotensin-Converting Enzyme Inhibitors'], dtype=object)
In [92]: pre_data.toarray()
Out[92]:
array([[0, 0, 1, 1],
[0, 0, 1, 1],
[1, 1, 1, 1]])
