Skip to main content
 首页 » 编程设计

python之在 Tensorboard 的 mnist 示例中生成了意外层

2025年01月19日9del

为了学习tensorflow,我执行了这个tensorflow官方mnist脚本(cnn_mnist.py),并用tensorboard展示了图表。

以下是部分代码。 该网络包含两个转换层和两个密集层。

conv1 = tf.layers.conv2d(inputs=input_layer,filters=32,kernel_size=[5, 5], 
      padding="same",activation=tf.nn.relu) 
 
pool1 = tf.layers.max_pooling2d(inputs=conv1, pool_size=[2, 2], strides=2) 
 
conv2 = tf.layers.conv2d(inputs=pool1,filters=64,kernel_size=[5, 5], 
      padding="same",activation=tf.nn.relu) 
 
pool2 = tf.layers.max_pooling2d(inputs=conv2, pool_size=[2, 2], strides=2) 
 
pool2_flat = tf.reshape(pool2, [-1, 7 * 7 * 64]) 
 
dense = tf.layers.dense(inputs=pool2_flat, units=1024, activation=tf.nn.relu) 
 
dropout = tf.layers.dropout( 
      inputs=dense, rate=0.4, training=mode == tf.estimator.ModeKeys.TRAIN) 
 
logits = tf.layers.dense(inputs=dropout, units=10) 

但是看tensorboard生成的图,有3个conv层,3个dense层。 没想到会生成conv2d_1和dense_1。

为什么生成conv2d_1和dense_1?

请您参考如下方法:

这是一个很好的问题,因为它揭示了 tf.layers 包装器的内部结构。让我们进行两个实验:

  • 完全按照问题运行模型。
  • 通过name 参数为层添加显式名称并再次运行。

没有图层名称的图

这与您的图表相同,但我扩大并放大了 logits 密集层。请注意,dense_1 包含层变量(内核和偏置),dense_2 包含操作(矩阵乘法和加法)。

这意味着这仍然是一层,但有两个命名范围 - dense_1 和dense_2。发生这种情况是因为这是第二个密集层,第一个已经使用了命名范围 dense。变量的创建与实际的层逻辑是分开的——有 build 和 call 方法,它们都试图为范围获取一个唯一的名称。这导致 dense_1 和 dense_2 分别持有变量和操作。

指定名称的图

现在让我们将 name='logits' 添加到同一层并再次运行:

logits = tf.layers.dense(inputs=dropout, units=10, name='logits') 

您可以看到仍然有 2 个变量和 2 个操作,但该层设法为范围获取一个唯一名称 (logits) 并将所有内容放入其中。

结论

这是一个很好的例子,说明在 tensorflow 中显式命名是有益的,无论它是直接关于张量还是关于更高级别的层。当模型使用有意义的名称而不是自动生成的名称时,混淆就会少得多。