所以我正在学习编写神经网络代码的最简单方法,这种方法可以根据您的需要以多种方式进行修改,基本上就像一个模板。我发现我是 trask 的 11 行神经网络代码,权重初始化非常有意义:
syn0 = 2*np.random.random((3,1)) - 1
但是,当我看他扩展的 3 层网络时,它看起来像这样:
syn0 = 2*np.random.random((3,4)) - 1
syn1 = 2*np.random.random((4,1)) - 1
如果 syn1 有点不同我会理解,但现在两者都不同了!他没有解释,只是评论说,“随机初始化我们的权重均值为 0。”
有人可以向我解释这背后的数学推理吗?如果你愿意,可以尽情发挥,我从 5 岁起就是数学爱好者。
请您参考如下方法:
如果不同,您指的是 np.random.random() 的参数,那是因为您正在创建具有不同形状/尺寸的权重。在此示例中(忽略偏差),您尝试从维度 3 的输入转到维度 1 的输出。对于一层,您需要形状 (3,1)。对于两层,您需要形状 (3,n) 和 (n,1),其中 n 是任意整数。这只是为了确保矩阵乘法有效。这里选择 n = 4 作为隐藏层维度。
