在学习阶段的神经网络中,有两种机制正在发生。前馈和反向传播。以异或运算为例。
A B Q
0 0 0
0 1 1
1 0 1
1 1 0
对于第一个 pass(0,0->0) 发生前馈,然后发生反向传播。在这一步之后所有的权重都被重新计算。
现在发生了什么?
问题1:再次使用新计算的权重(在反向传播期间)前馈相同的输入0,0,然后反向传播直到错误变为零?如果是,如果错误永远不会为空会发生什么?这让我想到下一个问题。
问题2:下一次pass(0,1->1)的学习什么时候发生?
问题3:假设第1遍得出的权重为10.3,-2.3,5.5,第2遍(0,1->1)用第1遍得出的权重开始前馈?
如果我必须通过代码来描述以下哪些代码是正确的
以下选项的通用代码
averageErrorUntilLearn = 0.002;
inputs = [
[0, 0],
[0, 1],
[1, 0],
[1, 1]
];
outputs = [0, 1, 1, 0];
inputNeurons = 2;
hiddenLayers = 1;
outputNeurons = 1;
//initialize the Neural Net
neuralNetObj = NeuralNet();
neuralNetObj.createTopology(inputNeurons, hiddenLayers, outputNeurons);
weightsForTheNetwork = randomWeights();
问题 3 场景- 每次传递计算的权重被发送到下一次传递
//learn
while (averageError > averageErrorUntilLearn):
for i in range(0,len(input)):
console.log("Current Pass-" + i);
neuralNetObj.learningParams(inputs[i], outputs[i]);
neuralNetObj.initializeWeights(weightsForTheNetwork);
neuralNetObj.feedforward();
neuralNetObj.backPropagate();
weightsForTheNetwork=neuralNetObj.getNewWeights();
averageError = neuralNetObj.getAverageError();
问题 1 场景 - 每个 channel 都用自己的权重计算,直到达到所需的学习,然后将权重发送到新的 channel
//learn
for i in range(0,len(input)):
while (averageError > averageErrorUntilLearn):
console.log("Current Pass-" + i);
neuralNetObj.learningParams(inputs[i], outputs[i]);
neuralNetObj.initializeWeights(weightsForTheNetwork);
neuralNetObj.feedforward();
neuralNetObj.backPropagate();
weightsForTheNetwork = neuralNetObj.getNewWeights();
averageError = neuralNetObj.getAverageError();
或者我在这里完全错了,上面的情况都不是真的?
请您参考如下方法:
Forward-backward pass 是训练的一个步骤,它计算梯度,稍后用于通过近似方法(SGD、RMSProp、Adam 等)调整权重。
您描述的是一次学习一个输入,即对(0,0->0) 进行前向-后向传递,然后进行前向传递-(0,1->1) 等的后向传递。每一步都使用上一步计算的权重,它不知道之前的数据是什么。
然而,在实践中,训练通常以批处理的形式进行,即网络对批处理[(0,0->0), (0,1->1)],然后是下一批,依此类推。顺序是随机的,因此可以形成不同的批处理。在某些模型中,每个下一批处理都是随机获取的,因此相同的输入可能会连续多次输入网络,但可能性很小。但通常的方法是这样的:洗牌所有训练数据(在你的例子中有 4 个例子)并分批迭代所有这些数据。然后重复。
在极少数情况下,批处理包含所有训练数据,这基本上意味着它是普通的梯度下降(不是随机)。在这种情况下,每个步骤将一遍又一遍地接受相同的输入。
总而言之:您可以自由地以任何您想要的顺序向网络提供信息,但通常人们会以随机顺序进行。此外,错误永远不会完全为空,因此您只需在一定次数的迭代后停止。
