我是 TensorFlow 的新手，最近几天我一直在研究它。 我想了解以下两个函数是否等价:
1.
softmax = tf.add(tf.matmul(x, weights), biases, name=scope.name)
2.
softmax = tf.nn.softmax(tf.matmul(x, weights) + biases, name=scope.name)
如果它们实际上不同，主要区别是什么？
请您参考如下方法:
softmax1 = tf.add(tf.matmul(x, weights), biases, name=scope.name)
不等于
softmax2 = tf.nn.softmax(tf.matmul(x, weights) + biases, name=scope.name)
因为 softmax1 根本没有 softmax 计算，而 softmax2 有。查看 tf.nn.softmax 的 Tensorflow API . general idea of a softmax是它通过重新缩放整个数据序列来确保它们的条目在区间 (0, 1) 内并且总和为 1 来规范化输入。
两个语句之间唯一相同的是基本计算。 + 做同样的事情 tf.add这样做 tf.add(tf.matmul(x, weights), biases) 等于 tf.matmul(x, weights) + biases.
编辑:添加一些说明(我想你真的不知道 softmax 在做什么？):
tf.matmul(x, W) + bias
计算 x(您的输入向量)和 W 当前层的权重之间的矩阵乘法。然后添加 bias。
此计算模拟一层的激活。此外，您还有一个激活函数，例如转换激活函数的 sigmoid 函数。所以对于一层你通常做这样的事情:
h1 = tf.sigmoid(tf.matmul(x, W) + bias)
这里的h1就是这一层的激活。
softmax 操作只是重新缩放您的输入。例如，如果您在输出层上获得此激活:
output = [[1.0, 2.0, 3.0, 5.0, 0.5, 0.2]]
softmax 重新缩放此输入以拟合区间 (0, 1) 中的值并且总和等于 1:
tf.nn.softmax(output)
> [[ 0.01497873, 0.0407164 , 0.11067866, 0.81781083, 0.00908506,
0.00673038]]
tf.reduce_sum(tf.nn.softmax(output))
> 1.0
