Python 3.5(anaconda 安装) SciKit 0.17.1
我只是不明白为什么 train_test_split() 一直给我我认为不可靠的训练案例列表拆分。
这是一个例子。 我的列表 trnImgPaths 有 3 个类,每个类有 67 张图像(总共 201 张图像):
['/Caltech101/ferry/image_0001.jpg',
... thru ...
'/Caltech101/ferry/image_0067.jpg',
'/Caltech101/laptop/image_0001.jpg',
... thru ...
'/Caltech101/laptop/image_0067.jpg',
'/Caltech101/airplane/image_0001.jpg',
... thru ...
'/Caltech101/airplane/image_0067.jpg']
我的目标列表 trnImgTargets 在长度上与此完美匹配,而且类本身与 trnImgPaths 完美匹配。
In[148]: len(trnImgPaths)
Out[148]: 201
In[149]: len(trnImgTargets)
Out[149]: 201
如果我运行:
[trnImgs, testImgs, trnTargets, testTargets] = \
train_test_split(trnImgPaths, trnImgTargets, test_size=141, train_size=60, random_state=42)
或
[trnImgs, testImgs, trnTargets, testTargets] = \
train_test_split(trnImgPaths, trnImgTargets, test_size=0.7, train_size=0.3, random_state=42)
或
[trnImgs, testImgs, trnTargets, testTargets] = \
train_test_split(trnImgPaths, trnImgTargets, test_size=0.7, train_size=0.3)
虽然我最终得到:
In[150]: len(trnImgs)
Out[150]: 60
In[151]: len(testImgs)
Out[151]: 141
In[152]: len(trnTargets)
Out[152]: 60
In[153]: len(testTargets)
Out[153]: 141
对于训练集,我从来没有得到 20 - 20 - 20 的完美分割。我可以通过手动检查和通过混淆矩阵进行健全性检查来判断。 下面分别是上面每个实验的结果:
[[19 0 0]
[ 0 21 0]
[ 0 0 20]]
[[19 0 0]
[ 0 21 0]
[ 0 0 20]]
[[16 0 0]
[ 0 22 0]
[ 0 0 22]]
我希望 split 是完美平衡的。任何想法为什么会这样?
它甚至看起来可能会先验地错误分类一些案例,因为给定类永远不会有 n=22 个训练案例。
请您参考如下方法:
简而言之:这是预期的行为。
随机拆分并不能保证“平衡”拆分。这就是分层 split 的目的(也是implemented in sklearn)。
