我是 tensorflow 的新手。我用一个涉及的部分试验了 DQN 算法
a = tf.placeholder(tf.int32, shape = [None],name='A')
q = tf.reduce_sum(critic_q * tf.one_hot(a,n_outputs),axis=1,keepdims=True,name='Q')#Q value for chosen action
y = tf.placeholder(tf.float32, shape = [None],name='Y')
learning_rate = 1e-4
cost = tf.reduce_mean(tf.square(y-q))#mean squared error
global_step = tf.Variable(0,trainable=False,name='global_step')
optimizer = tf.train.AdamOptimizer(learning_rate)
training_op = optimizer.minimize(cost,global_step=global_step)
并使用 y_batch=np.zeros(nbatch) 初始化输入 y。网络几乎没有训练过。
然后，我转而将 y 定义为
y = tf.placeholder(tf.float32, shape = [None,1],name='Y')
并使用 y_batch=np.zeros(nbatch).reshape(-1,1) 初始化输入，效果很好。
第一次实现发生了什么？
请您参考如下方法:
每个张量都有一个秩(维度数)和一组维度。
形状为 [1] 的占位符是等级为 1 且位置 0 的维度为 1 的占位符。
形状为 [None, 1] 的占位符是等级为 2 的占位符，因此它有 2 个维度。第一个维度(索引 0)的大小未知(它将在运行时解析)，而第二个维度(索引 1)的大小已知为 1。
为了兼容，张量必须具有相同的秩和维度。
您可以在此处阅读有关张量形状的更完整评估:https://pgaleone.eu/tensorflow/2018/07/28/understanding-tensorflow-tensors-shape-static-dynamic/#tensors-the-basic
