我有一个包含几千个样本(X 和 y)的数据集,我想将它分成 n 个相等的部分,每个部分我都想将它们分成训练/测试。据我了解,来自 sklearn 的分层 k 折几乎是我想要的,但它不会将每个 block 拆分为训练/测试。
是否有其他功能可以为我执行此操作?
请您参考如下方法:
这对我有用:
from random import shuffle
n_splits = 10
n_classes = 2
#Get each of the classes into their own list of samples
class_split_list = {}
for i in range(n_classes):
class_list = list(set(data.iloc[data.groupby(['normal']).groups[i]].sample_id.tolist()))
shuffle(class_list)
class_split_list[i] = np.array_split(class_list,n_splits)#create a dict of split chunks
stratified_sample_chunks = []
for i in range(n_splits):
class_chunks = []
for j in range(n_classes):
class_chunks.extend(class_split_list[j][i])#get split from current class
stratified_sample_chunks.append(class_chunks)
print(stratified_sample_chunks[0][:20])
您可以更改 class_list = list(set(data.iloc[data.groupby(['normal']).groups[i]].sample_id.tolist())) 到 class_list = list(set(data.iloc[data.groupby(['Column_with_y_values']).groups[i]].index.tolist()))
