Skip to main content
 首页 » 编程设计

python之在神经网络的学习阶段反向传播后会发生什么

2025年02月15日9jpfss

在学习阶段的神经网络中,有两种机制正在发生。前馈和反向传播。以异或运算为例。

A   B   Q 
0   0   0 
0   1   1 
1   0   1 
1   1   0 

对于第一个 pass(0,0->0) 发生前馈,然后发生反向传播。在这一步之后所有的权重都被重新计算。
现在发生了什么?

问题1:再次使用新计算的权重(在反向传播期间)前馈相同的输入0,0,然后反向传播直到错误变为零?如果是,如果错误永远不会为空会发生什么?这让我想到下一个问题。

问题2:下一次pass(0,1->1)的学习什么时候发生?

问题3:假设第1遍得出的权重为10.3,-2.3,5.5,第2遍(0,1->1)用第1遍得出的权重开始前馈?


如果我必须通过代码来描述以下哪些代码是正确的

以下选项的通用代码

averageErrorUntilLearn = 0.002; 
inputs = [ 
[0, 0], 
[0, 1], 
[1, 0], 
[1, 1] 
]; 
outputs = [0, 1, 1, 0]; 
inputNeurons = 2; 
hiddenLayers = 1; 
outputNeurons = 1; 
 
//initialize the Neural Net 
neuralNetObj = NeuralNet(); 
neuralNetObj.createTopology(inputNeurons, hiddenLayers, outputNeurons); 
weightsForTheNetwork = randomWeights(); 


问题 3 场景- 每次传递计算的权重被发送到下一次传递

//learn  
while (averageError > averageErrorUntilLearn): 
    for i in range(0,len(input)): 
        console.log("Current Pass-" + i); 
        neuralNetObj.learningParams(inputs[i], outputs[i]); 
        neuralNetObj.initializeWeights(weightsForTheNetwork); 
        neuralNetObj.feedforward(); 
        neuralNetObj.backPropagate(); 
        weightsForTheNetwork=neuralNetObj.getNewWeights(); 
        averageError = neuralNetObj.getAverageError(); 

问题 1 场景 - 每个 channel 都用自己的权重计算,直到达到所需的学习,然后将权重发送到新的 channel

//learn  
for i in range(0,len(input)): 
    while (averageError > averageErrorUntilLearn): 
        console.log("Current Pass-" + i); 
        neuralNetObj.learningParams(inputs[i], outputs[i]); 
        neuralNetObj.initializeWeights(weightsForTheNetwork); 
        neuralNetObj.feedforward(); 
        neuralNetObj.backPropagate(); 
        weightsForTheNetwork = neuralNetObj.getNewWeights(); 
        averageError = neuralNetObj.getAverageError(); 


或者我在这里完全错了,上面的情况都不是真的?

请您参考如下方法:

Forward-backward pass 是训练的一个步骤,它计算梯度,稍后用于通过近似方法(SGD、RMSProp、Adam 等)调整权重。

您描述的是一次学习一个输入,即对(0,0->0) 进行前向-后向传递,然后进行前向传递-(0,1->1) 等的后向传递。每一步都使用上一步计算的权重,它不知道之前的数据是什么。

然而,在实践中,训练通常以批处理的形式进行,即网络对批处理[(0,0->0), (0,1->1)],然后是下一批,依此类推。顺序是随机的,因此可以形成不同的批处理。在某些模型中,每个下一批处理都是随机获取的,因此相同的输入可能会连续多次输入网络,但可能性很小。但通常的方法是这样的:洗牌所有训练数据(在你的例子中有 4 个例子)并分批迭代所有这些数据。然后重复。

在极少数情况下,批处理包含所有训练数据,这基本上意味着它是普通的梯度下降(不是随机)。在这种情况下,每个步骤将一遍又一遍地接受相同的输入。

总而言之:您可以自由地以任何您想要的顺序向网络提供信息,但通常人们会以随机顺序进行。此外,错误永远不会完全为空,因此您只需在一定次数的迭代后停止。