Skip to main content
 首页 » 编程设计

python之选择随机验证数据集

2024年11月24日11jiqing9006

给定一个由模拟持续时间生成的数据组成的 numpy 数组。基于此,我正在使用 tensorflow 和 keras 来训练神经网络,我的问题是指我模型中的这行代码:

model.fit(X1, Y1, epochs=1000, batch_size=100, verbose=1, shuffle=True, validation_split=0.2) 

在阅读了 Keras 的文档后,我发现验证数据集(在本例中为原始数据的 20%)从末尾开始切片。当我为正在进行的时间生成数据时,我显然不希望最后一部分被切掉,因为它不能代表验证。我宁愿从整个数据集中随机选择验证数据。为此,我现在正在洗牌我的整个数据集(ANN 的输入和输出一致),然后再进行训练以获得随机验证数据。

我觉得我不想破坏我的数据中的时间部分,这就是为什么我正在寻找一种解决方案来随机选择验证集而不必打乱整个数据集。另外,我想知道你们对不改组时间连续数据的看法。同样,我不是在询问验证拆分的性质,我只是想知道如何修改验证数据的选择方式。

请您参考如下方法:

正如您所提到的,Keras 只是获取数据集的最后 x 个样本,因此如果您想继续使用它,您需要提前对数据集进行洗牌。

或者,您可以简单地使用 sklearn train_test_split() 方法:

x_train, x_valid, y_train, y_valid = sklearn.model_selection.train_test_split(x, y, test_size=0.2) 

此方法有一个名为“shuffle”的参数,用于确定是否在拆分之前打乱数据(默认设置为 True)。

但是,更好的数据拆分方法是使用“分层”参数,这将在验证集和训练集之间提供类似的标签分布:

x_train, x_test, y_train, y_test = train_test_split(x, y, 
                                                    test_size=0.2, 
                                                    random_state=0, 
                                                    stratify=y)