Skip to main content
 首页 » 编程设计

python之缩放不能真正代表火车数据的测试数据

2025年01月19日8insus

我已经建立了一个模型,我想在看不见的数据上进行测试。我每天输入数据,每天都有不同的范围。例如,如果我使用 MinMaxScaler(),我会将训练数据缩放到 [0,1] 区间。

现在,训练集中的最大值为100,将转化为1。

当我的测试数据每天进来的时候,实际上可以证明最大值实际上是 10,也将转换为 1。

# min_max_scaler = preprocessing.MinMaxScaler() 
# df_scaled = min_max_scaler.fit_transform(df.values) 

我尝试使用规范化来代替,例如df_norm = (df - df.mean())/(df.max() - df.min()),然后在测试数据上使用这些值:

test_norm = (test_df - df.mean())/(df.max() - df.min())

但是我的数据不是正态分布的。它可能呈指数分布,具有大量 0 和较低的大值。

请您参考如下方法:

不,您的测试最大值(即 10)不会缩放为 1,但如果根据从训练数据中学习的最大值和最小值正确使用,则缩放为 0.1。

这可以通过仅对测试数据调用 min_max_scaler.transform() 来实现。 fit() 或 fit_transform() 仅用于训练数据。

因此对于训练数据,代码是相同的:

df_train_scaled = min_max_scaler.fit_transform(df_train.values) 

但是对于测试数据,就变成了:

df_test_scaled = min_max_scaler.transform(df_test.values) 

这样,MinMaxScaler 将存储训练数据上 fit() 期间看到的最大值和最小值,然后将它们用于测试数据,以正确缩放数据。