我尝试在 Keras 中制作自定义损失函数。
我想创建一个模型,以 10 个特征单元执行以下规范化表达式。
归一化层中的每个节点执行以下归一化。
当 80 个单位的产出被分成 10 个单位时,10 个单位的平方和必须为 1。
例如,输出为 a1, a2, ..., a80。 如果 a1 = 10、a2 = 0、a3 = 0、...、a9 = 0 和 a10 = 10,则平方和 = 200。 最后,a1 = 10/sqrt (200), a2 = 0, ..., a9 = 0, a10 = 10/sqrt (200)。 之后,我需要计算误差大小。
因此,我在模型末尾添加了一个 Lambda(lambda x: K.l2_normalize(x, axis=-1)) 层,并使用 loss='mse'。
为此,我必须将范数层和前一层的连接部分的权重固定为 1,我想知道该怎么做。
此外,我需要连接归一化层的每个节点和上一层的 10 个节点。在keras有可能吗?我必须处理 tensorflow 吗?
请帮帮我..谢谢
这是我的代码。
train_input_data = input_data[:80000, :]
train_output_data = output_data[:80000, :]
test_input_data = input_data[80000:, :]
test_output_data = output_data[80000:, :]
X_train, X_test = train_input_data, test_input_data
y_train, y_test = train_output_data, test_output_data
model = Sequential()
model.add(Dense(4000, input_dim=800, init='glorot_normal'))
model.add(BatchNormalization())
model.add(Activation('relu'))
model.add(Dropout(0.7))
model.add(Dense(2000, init='glorot_normal'))
model.add(BatchNormalization())
model.add(Activation('relu'))
model.add(Dropout(0.7))
model.add(Dense(1000, init='glorot_normal'))
model.add(BatchNormalization())
model.add(Activation('relu'))
model.add(Dropout(0.7))
model.add(Dense(80, init='glorot_normal'))
model.add(Activation('linear'))
model.add(Reshape((8, 10)))
model.add(Lambda(lambda x: K.l2_normalize(x, axis=-1)))
model.add(Reshape((None, 80)))
model.compile(optimizer='adam', loss='mae', metrics=['mae', min_absolute_error, max_absolute_error])
history = model.fit(X_train, y_train, nb_epoch=10, batch_size=8192, verbose=1)
(loss, mean_error, min_error, max_error) = model.evaluate(X_test, y_test, verbose=1)
请您参考如下方法:
这样的事情似乎可以回答您的问题,但最后一部分非常不清楚。 “节点”和“全连接”是指“每个穿过图中的一层”和“密集层”的术语。
不过,您可以以 10 个为一组重新组织您的功能:
#suppose the original output shape is (None, dim1, dim2, features)
#where features is a multiple of 10.
#add:
Reshape((dim1,dim2,features//10,10))
Lambda(lambda x: K.l2_normalize(x,axis=-1))
Reshape((dim1,dim2,features//10))
对于只有特征维度的案例:
#original shape is (None, features)
#add
Reshape((features//10,10))
Lambda(lambda x: K.l2_normalize(x,axis=-1))
Reshape((features//10,))
