Skip to main content
 首页 » 编程设计

python之使用 Keras 构建的回归神经网络只能预测一个值

2024年12月31日8leader

我正在尝试使用 Keras 和 Tensorflow 构建神经网络来预测歌曲的最终排行榜位置,给定一组 5 个特征。

玩了几天后,我意识到虽然我的 MAE 越来越低,但这是因为模型刚刚学会了预测所有输入的训练集的平均值,这是最优解。 (这在下面的散点图中说明)

scatter plot

This is a random sample of 50 data points from my testing set vs what the network thinks they should be

起初我意识到这可能是因为我的网络太复杂了。我有一个形状为 (5,) 的输入层和输出层中的一个节点,然后是 3 个隐藏层,每个层有超过 32 个节点。

然后我剥离多余的层并移动到只有一个带有几个节点的隐藏层,如下所示:

self.model = keras.Sequential([ 
keras.layers.Dense(4, 
    activation='relu', 
    input_dim=num_features, 
    kernel_initializer='random_uniform', 
    bias_initializer='random_uniform' 
    ), 
keras.layers.Dense(1) 
]) 

使用梯度下降优化器对其进行训练仍然会导致始终做出完全相同的预测。

然后我突然想到,也许我要解决的实际问题对于网络来说还不够难,也许它是线性可分的。因为这会更好地响应根本没有隐藏层,基本上只是做常规线性回归,我试过了。我将模型更改为:

inp = keras.Input(shape=(num_features,)) 
out = keras.layers.Dense(1, activation='relu')(inp) 
self.model = keras.Model(inp,out) 

这也没有任何改变。我的MAE,预测值都是一样的。 我尝试了很多不同的东西,优化函数的不同排列、学习率、网络配置,但没有任何帮助。我很确定数据是好的,但我提供了一个样本以防万一。

chartposition,tagcount,dow,artistscore,timeinchart,finalpos 
121,3925,5,35128,7,227 
131,4453,3,85545,25,130 
69,2583,4,17594,24,523 
145,1165,3,292874,151,187 
96,1679,5,102593,111,540 
134,3494,5,1252058,37,370 
6,34895,7,6824048,22,5 

A sample of my dataset, finalpos is the value I'm trying to predict. Dataset contains ~40,000 records, split 80/20 - training/testing

def __init__(self, validation_split, num_features, should_log): 
    self.should_log = should_log 
    self.validation_split = validation_split 
 
    inp = keras.Input(shape=(num_features,)) 
    out = keras.layers.Dense(1, activation='relu')(inp) 
    self.model = keras.Model(inp,out) 
 
    optimizer = tf.train.GradientDescentOptimizer(0.01) 
    self.model.compile(loss='mae', 
                  optimizer=optimizer, 
                  metrics=['mae']) 
 
def train(self, data, labels, plot=False): 
 
    early_stop = keras.callbacks.EarlyStopping(monitor='val_loss', patience=20) 
 
    history = self.model.fit(data, 
                              labels, 
                              epochs=self.epochs, 
                              validation_split=self.validation_split, 
                              verbose=0, 
                              callbacks = [PrintDot(), early_stop]) 
    if plot: self.plot_history(history) 

All code relevant to constructing and training the networ

def normalise_dataset(df, mini, maxi): 
    return (df - mini)/(maxi-mini) 

Normalisation of the input data. Both my testing and training data are normalised to the max and min of the testing set

loss hidden

Graph of my loss vs validation curves with the one hidden layer network with an adamoptimiser, learning rate 0.01

loss linear

Same graph but with linear regression and a gradient descent optimiser.

请您参考如下方法:

所以我很确定您的规范化是问题所在:您不是按功能规范化(事实上的行业标准),而是跨所有数据 . 这意味着,如果您有两个具有非常不同的数量级/范围的不同特征(在您的情况下,比较 timeinchart 与 artistscore。

相反,您可能希望使用 scikit-learn 的 StandardScaler 之类的东西进行规范化。 .这不仅对每列进行归一化(因此您可以一次传递所有特征),而且还进行单位方差(这是对您的数据的一些假设,但也可能有帮助)。

要转换您的数据,请使用这些方法

from sklearn.preprocessing import StandardScaler 
import numpy as np 
 
raw_data = np.array([[1,40], [2, 80]]) 
scaler = StandardScaler() 
processed_data = scaler.fit_transform(raw_data)  
# fit() calculates mean etc, transform() puts it to the new range. 
print(processed_data) # returns [[-1, -1], [1,1]] 

请注意,您有两种可能性来规范化/标准化您的训练数据: 要么将它们与您的训练数据一起缩放,然后之后拆分, 或者您只适合训练数据,然后使用相同的缩放器来转换您的测试数据。
切勿将测试集与训练数据分开进行 fit_transform!
由于您可能具有不同的均值/最小值/最大值,因此您最终可能会做出完全错误的预测!从某种意义上说,StandardScaler 是您对“数据源分布”的定义,它对于您的测试集本质上仍然是相同的,即使它们可能是不完全遵循相同属性的子集(由于样本量小等)

此外,您可能想使用更高级的 optimizer ,就像 Adam 一样,或者为您的 SGD 指定一些动量属性(根据经验,0.9 在实践中是一个不错的选择)。