Skip to main content
 首页 » 编程设计

python之更新神经网络中的权重

2024年11月24日9小虾米

我一直在尝试从头开始编写神经网络代码,并观看了几个视频以了解它是如何实现的。

所以我遇到了this guide在 Python 中构建一个简单的神经网络。

X = np.array([ [0,0,1],[0,1,1],[1,0,1],[1,1,1] ]) 
y = np.array([[0,1,1,0]]).T 
syn0 = 2*np.random.random((3,4)) - 1 
syn1 = 2*np.random.random((4,1)) - 1 
for j in xrange(60000): 
    l1 = 1/(1+np.exp(-(np.dot(X,syn0)))) 
    l2 = 1/(1+np.exp(-(np.dot(l1,syn1)))) 
    l2_delta = (y - l2)*(l2*(1-l2)) 
    l1_delta = l2_delta.dot(syn1.T) * (l1 * (1-l1)) 
    syn1 += l1.T.dot(l2_delta) 
    syn0 += X.T.dot(l1_delta) 

我发现最后两行令人困惑,它不应该是 syn1 -= l1.T.dot(l2_delta) 和 syn0 -= X.T.dot(l1_delta)。

我以为在梯度下降中你减去了斜率,但它似乎在这里被添加了。这是梯度上升吗?

谁能解释一下最后两行是如何工作的?

请您参考如下方法:

你是对的:你在梯度下降中减去斜率。

这正是这个程序所做的,减去斜率。 l1.T.dot(l2_delta) 和X.T.dot(l1_delta) 是负斜率,这就是为什么这段代码的作者使用+= 而不是 -=。