Skip to main content
 首页 » 编程设计

python之反向传播计算的神经网络问题

2024年11月24日9zengkefu

我目前正在尝试构建一个简单的神经网络,以使用 MNIST 数字数据库识别书写数字。当我运行第一个测试时,我在输出数组中得到随机的概率分类,这是预期的。但是,当我不止一次运行它时,我的输出数组在所有索引位置几乎都降为零。似乎我对正在反向传播的权重调整的计算导致了问题,但我似乎无法找出原因。

def sigmoid(x): 
    a = 1 / (1 + np.exp(-x)) 
    return a 
 
def sigmoid_derivative(x): 
    return x * (1 - x) 
 
def train(n, inputs): 
    input_layer = inputs 
    weights1 = 2 * np.random.random ((784 , 16)) - 1 
    weights2 = 2 * np.random.random ((16 , 10)) - 1 
 
    for i in range(n): 
        trained_hidden = sigmoid(np.dot(input_layer, weights1)) 
        trained_outputs = sigmoid(np.dot(trained_hidden, weights2)) 
 
        o_error = (outputs - trained_outputs) 
        o_adjustments = o_error * sigmoid_derivative(trained_outputs) 
 
        h_error = np.dot(o_adjustments, weights2.T) 
        h_adjustments = h_error * sigmoid_derivative(trained_hidden) 
 
        w1 = np.dot(input_layer.T, h_adjustments) 
        w2 = np.dot(trained_hidden.T, o_adjustments) 
 
        weights1 += w1 
        weights2 += w2 
 
    return trained_outputs 

我正在使用 Numpy 数组,输入是一个 (10000 x 784) 数组,灰度值为 0 - 1,输出一个 (10000 x 10) 数组,在实际数字的索引位置有一个 1。

x_train, t_train, x_test, t_test = mnist.load() 
 
inputs = x_test/256 
 
outputs = np.zeros((10000,10), dtype=int) 
 
for i in range(10000): 
    x = t_test[int(i)] 
    outputs[i][x] = 1 
 
set = train(10, inputs) 

我使用了很多资源来构建它,包括来自 3 blue 1 brown neural network series 的理论和紧跟此处提供的示例的代码 (https://enlight.nyc/projects/neural-network/)

编辑:根据@9000 的建议,这里是一个示例中每个步骤的打印输出。查看结果看起来 w1(加权调整计算)是问题,但一遍又一遍地查看,我无法弄清楚为什么它不正确,感谢任何帮助。

编辑 2:我在第二次训练中包含了同一示例的第二次打印输出。

首次运行

trained_hidden [0.87880514 0.4789476  0.38500953 0.00142838 0.01373613 0.37572408 0.53673194 0.11774215 0.99989426 0.0547656  0.20645864 0.85484692 0.99903171 0.88929566 0.00673453 0.03816501] 
 
trained_output [0.33244312 0.26289407 0.79917376 0.95143406 0.90780616 0.2100068 0.66253735 0.57961972 0.28231436 0.15963378] 
 
o_error [ 0.66755688 -0.26289407 -0.79917376 -0.95143406 -0.90780616 -0.2100068 -0.66253735 -0.57961972 -0.28231436 -0.15963378] 
 
o-adjustment [ 0.14814735 -0.05094382 -0.12826344 -0.04396319 -0.07597805 -0.03484096 -0.14813117 -0.14123055 -0.05720055 -0.02141501] 
 
h_error [-0.00359599  0.18884347  0.15954247 -0.14839811  0.2081496  -0.01152563 0.03262859 -0.46315722 -0.06974061 -0.46774417 -0.00690463 -0.44303219 -0.16267084 -0.02505235 -0.12866526  0.22212537] 
 
h_adjustment [-3.82997246e-04  4.71271721e-02  3.77760172e-02 -2.11665993e04 2.81989626e-03 -2.70339996e-03  8.11312465e-03 -4.81122794e02 -7.37327102e-06 -2.42134002e-02 -1.13120886e-03 -5.49730579e-02 -1.57359939e-04 -2.46637616e-03 -8.60664795e-04  8.15387570e-03] 
 
w1 [0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0.] 
 
w2 [-111.70644608 -164.50671691 -254.60942018 -205.06537232 -330.43317768 -94.6976 -346.78221607 -272.22044431 -249.54889015  -75.99543441] 
 
weights1 [-0.09535479 -0.09824519 -0.11582134 -0.65075843 -0.65593035  0.77593957 -0.0406199 0.12669151  0.79979191 -0.52502487 -0.2433578 0.16617536 -0.25711996  0.92995152 -0.40922601 -0.63029133] 
 
weights2 [-112.24597022 -164.86741004 -254.21715269 -205.27326963 -331.18579697 -95.07615178 -347.04311247 -271.82206581 -250.04075852  -76.69273265] 

第二次运行

trained_hidden [0.00000000e+000 1.00000000e+000 1.00000000e+000 3.77659154e-181 1.00000000e+000 0.00000000e+000 0.00000000e+000 0.00000000e+000 1.00000000e+000 0.00000000e+000 1.00000000e+000 0.00000000e+000 2.71000625e-055 0.00000000e+000 0.00000000e+000 1.00000000e+000] 
 
trained_output [0. 0. 0. 0. 0. 0. 0. 0. 0. 0.] 
 
o_error [1. 0. 0. 0. 0. 0. 0. 0. 0. 0.] 
 
o-adjustment [0. 0. 0. 0. 0. 0. 0. 0. 0. 0.] 
 
h_error [0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0.] 
 
h_adjustment [0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0.] 
 
w1 [0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0.] 
 
w2 [0. 0. 0. 0. 0. 0. 0. 0. 0. 0.] 
 
weights1 [-0.09535479 -0.09824519 -0.11582134 -0.65075843 -0.65593035  0.77593957 -0.0406199   0.12669151  0.79979191 -0.52502487 -0.2433578   0.16617536 -0.25711996  0.92995152 -0.40922601 -0.63029133] 
 
weights2 [-112.24597022 -164.86741004 -254.21715269 -205.27326963 -331.18579697 -95.07615178 -347.04311247 -271.82206581 -250.04075852  -76.69273265] 

请您参考如下方法:

首先,你确定你打印的 weights1 和 weights2 是正确的吗?它们在输出非常不同的两次运行之间是相同的,这对我来说似乎非常可疑。

我略微检查了你的衍生品,从我所看到的一点来看,它们看起来是正确的。但是,我看到两个错误。更新权重时,您实际上想要从权重中减去导数。因为梯度总是指向上坡,而你想最小化损失,所以你想朝下坡方向走。第二个可能的错误是你使用完整的导数作为更新,基本上总是在神经网络中,使用学习率(例如 0.001)作为更新导数的乘数,如果你不缩小你的更新前的梯度,它可能会非常困难地过冲,例如将所有权重设置为非常大的值,这会导致非常不稳定的优化。

所以我的建议是替换:

weights1 += w1 
weights2 += w2 

与:

learning_rate = 0.001 
weights1 -= w1 * learning_rate 
weights2 -= w2 * learning_rate 

此外,调试神经网络的一般经验法则是使用您的网络应该适合的最小示例,因此从您的数据集中选择一个样本并查看每次迭代中的更新,这会告诉您很多(例如使用一个调试器)。如果放不下单个示例,则放不下 10000。