Skip to main content
 首页 » 编程设计

python之Theano:如何将所需输出(1d)和标签之间的距离实现为成本函数

2025年05月04日16mate10pro

我想训练一个神经网络来表示从 R^n 到 R 的函数。 神经元网络只有一层,输入神经元是函数参数,输出是函数值。 例如,函数可以是“逻辑与”:两个输入值,一个输出。

为了训练这样的网络,我需要定义一个成本函数,然后可以使用 Theano 对梯度的支持导出该函数。 问题是: 通常您会使用神经元网络进行分类。训练样本是 (input, y),其中 y 是所需的输出 = 应具有最大似然性的输出神经元的索引。

在这种情况下这是不可能的,我只有一个输出神经元,需要将其与标签进行比较 => 标签不用于索引。 在伪代码中:

if y==0: 
   cost= - output 
else: 
   cost= - (1-output) 

使用这种方法,必须对每个样本重新计算成本。由于计算成本的公式取决于 y 的值。

我认为有必要在 theano 公式中实现选择。 类似于此伪代码的内容:

block1= - output 
block2= - (1 - output) 
blockMatrix= [block1 : block2] 
return blockMatrix[y] 

在 theano 教程中,索引与微分结合使用,所以这应该可行。

实际问题: theano 中的阻塞是如何工作的?

我代码中符号的类型:输出是矩阵,y是向量。示例是这样创建的,一行是一个示例。

data_x = numpy.matrix([[0, 0], 
                       [1, 0], 
                       [0, 1], 
                       [1, 1]]) 
 
data_y = numpy.array([0, 
                      0, 
                      0, 
                      1]) 

pastebin 上的完整代码:http://pastebin.com/PByUyvMQ 它大部分与本教程完全一样:http://deeplearning.net/tutorial/logreg.html

请您参考如下方法:

我不太确定阻塞的确切含义,但对于简单地连接两个张量变量,有 theano.tensor.concatenate()和 theano.tensor.stack() .

此外,您的问题还有另一种形式,可以避免调节和阻塞:

cost = -(1-y)*output -y*(1-output)