Skip to main content
 首页 » 编程设计

Python之将数据拆分为 n 个分层部分

2024年11月01日9cmt

我有一个包含几千个样本(X 和 y)的数据集,我想将它分成 n 个相等的部分,每个部分我都想将它们分成训练/测试。据我了解,来自 sklearn 的分层 k 折几乎是我想要的,但它不会将每个 block 拆分为训练/测试。

是否有其他功能可以为我执行此操作?

请您参考如下方法:

这对我有用:

from random import shuffle 
n_splits = 10 
n_classes = 2 
#Get each of the classes into their own list of samples 
class_split_list = {} 
for i in range(n_classes): 
    class_list = list(set(data.iloc[data.groupby(['normal']).groups[i]].sample_id.tolist())) 
    shuffle(class_list) 
    class_split_list[i] = np.array_split(class_list,n_splits)#create a dict of split chunks 
 
stratified_sample_chunks = [] 
for i in range(n_splits): 
    class_chunks = [] 
    for j in range(n_classes): 
        class_chunks.extend(class_split_list[j][i])#get split from current class 
    stratified_sample_chunks.append(class_chunks) 
 
print(stratified_sample_chunks[0][:20]) 

您可以更改 class_list = list(set(data.iloc[data.groupby(['normal']).groups[i]].sample_id.tolist())) 到 class_list = list(set(data.iloc[data.groupby(['Column_with_y_values']).groups[i]].index.tolist()))