Skip to main content
 首页 » 编程设计

python之如何使用 RMSE 和 MAE 性能指标比较随机森林(无缩放)和 LSTM(有缩放)

2024年11月01日9jirigala

我是机器学习的新手,正在尝试使用随机森林、简单线性回归和 NN(LSTM) 等多种模型进行比特币价格预测。

据我所知,随机森林和线性回归不需要缩放输入特征,而 LSTM 确实需要缩放输入特征。

如果我们比较两种算法(有缩放和没有缩放)的 MAE 和 RMSE,结果肯定会不同,我无法比较哪个模型表现更好。

我现在应该如何比较这些模型的性能?


更新 - 添加我的代码

数据

bitcoinData = pd.DataFrame([[('2013-04-01 00:07:00'),93.25,93.30,93.30,93.25,93.300000], [('2013-04-01 00:08:00'),100.00,100.00,100.00,100.00,93.300000], [('2013-04-01 00:09:00'),93.30,93.30,93.30,93.30,33.676862]], columns=['time','open', 'close', 'high','low','volume']) 
bitcoinData.time = pd.to_datetime(bitcoinData.time) 
bitcoinData = bitcoinData.set_index(['time']) 
x_train = train_data[['high','low','open','volume']] 
y_train = train_data[['close']] 
x_test = test_data[['high','low','open','volume']] 
y_test = test_data[['close']] 

最小-最大缩放器

from sklearn.preprocessing import MinMaxScaler 
scaler = MinMaxScaler(feature_range=(0, 1)) 
scaler1 = MinMaxScaler(feature_range=(0, 1)) 
x_train = scaler.fit_transform(x_train) 
y_train = scaler1.fit_transform(y_train) 
x_test = scaler.transform(x_test) 
y_test = scaler1.transform(y_test) 

均方误差计算

from math import sqrt 
from sklearn.metrics import r2_score 
from sklearn.metrics import mean_absolute_error 
print("Root Mean Squared Error(RMSE) : ", sqrt(mean_squared_error(y_test,preds))) 
print("Mean Absolute Error(MAE) : ", mean_absolute_error(y_test,preds)) 
r2 =  r2_score(y_test, preds) 
print("R Squared (R2) : ",r2) 

请您参考如下方法:

您缩放输入数据,而不是输出数据。 输入数据与您的错误计算无关。

如果您真的想缩放 lstm 输出数据,只需以与其他分类器相同的方式缩放它。

编辑:

来自您的评论:

I only scaled my input data in LSTM

不,你不知道。您确实转换了输出数据。从我读到的内容来看,我假设你只为神经网络转换它。

所以你的 lstm y 数据大约小 100 倍 --> squared_error 所以你得到 100*100 = 10.000 这大致是你的神经网络比随机森林表现“更好”的因素。

选项 1:

删除那些树线:

scaler1 = MinMaxScaler(feature_range=(0, 1)) 
 
y_train = scaler1.fit_transform(y_train) 
 
y_test = scaler1.transform(y_test) 

不要忘记使用可以将值输出到+无穷大的最后一层

选项 2:

也为您的其他分类器缩放数据并比较缩放后的值。

选项 3:

对您的预测使用 MinMaxScaler 的 inverse_transform(pred) 方法,并使用 inverse_transformed 预测和未转换的 y_test 数据计算您的误差。