Skip to main content
 首页 » 编程设计

python之在 Keras 中制作自定义规范化层(每个功能)

2025年02月15日7虾米姐

我尝试在 Keras 中制作自定义损失函数。

我想创建一个模型,以 10 个特征单元执行以下规范化表达式。

归一化层中的每个节点执行以下归一化。

当 80 个单位的产出被分成 10 个单位时,10 个单位的平方和必须为 1。

例如,输出为 a1, a2, ..., a80。 如果 a1 = 10、a2 = 0、a3 = 0、...、a9 = 0 和 a10 = 10,则平方和 = 200。 最后,a1 = 10/sqrt (200), a2 = 0, ..., a9 = 0, a10 = 10/sqrt (200)。 之后,我需要计算误差大小。

因此,我在模型末尾添加了一个 Lambda(lambda x: K.l2_normalize(x, axis=-1)) 层,并使用 loss='mse'。

为此,我必须将范数层和前一层的连接部分的权重固定为 1,我想知道该怎么做。

此外,我需要连接归一化层的每个节点和上一层的 10 个节点。在keras有可能吗?我必须处理 tensorflow 吗?

请帮帮我..谢谢

这是我的代码。

    train_input_data = input_data[:80000, :] 
    train_output_data = output_data[:80000, :] 
    test_input_data = input_data[80000:, :] 
    test_output_data = output_data[80000:, :] 
 
    X_train, X_test = train_input_data, test_input_data 
    y_train, y_test = train_output_data, test_output_data 
 
    model = Sequential() 
    model.add(Dense(4000, input_dim=800, init='glorot_normal')) 
    model.add(BatchNormalization()) 
    model.add(Activation('relu')) 
    model.add(Dropout(0.7)) 
    model.add(Dense(2000, init='glorot_normal')) 
    model.add(BatchNormalization()) 
    model.add(Activation('relu')) 
    model.add(Dropout(0.7)) 
    model.add(Dense(1000, init='glorot_normal')) 
    model.add(BatchNormalization()) 
    model.add(Activation('relu')) 
    model.add(Dropout(0.7)) 
    model.add(Dense(80, init='glorot_normal')) 
    model.add(Activation('linear')) 
    model.add(Reshape((8, 10))) 
    model.add(Lambda(lambda x: K.l2_normalize(x, axis=-1))) 
    model.add(Reshape((None, 80))) 
 
    model.compile(optimizer='adam', loss='mae', metrics=['mae', min_absolute_error, max_absolute_error]) 
 
    history = model.fit(X_train, y_train, nb_epoch=10, batch_size=8192, verbose=1) 
    (loss, mean_error, min_error, max_error) = model.evaluate(X_test, y_test, verbose=1) 

请您参考如下方法:

这样的事情似乎可以回答您的问题,但最后一部分非常不清楚。 “节点”和“全连接”是指“每个穿过图中的一层”和“密集层”的术语。

不过,您可以以 10 个为一组重新组织您的功能:

#suppose the original output shape is (None, dim1, dim2, features)     
#where features is a multiple of 10. 
 
#add: 
Reshape((dim1,dim2,features//10,10)) 
Lambda(lambda x: K.l2_normalize(x,axis=-1)) 
Reshape((dim1,dim2,features//10)) 

对于只有特征维度的案例:

#original shape is (None, features) 
 
#add 
Reshape((features//10,10)) 
Lambda(lambda x: K.l2_normalize(x,axis=-1)) 
Reshape((features//10,))