Skip to main content
 首页 » 编程设计

python之使用 lstm 和 keras 训练模型

2025年02月15日7bjzhanghao

我有这样的输入数据:

x_train = [ 
    [0,0,0,1,-1,-1,1,0,1,0,...,0,1,-1], 
    [-1,0,0,-1,-1,0,1,1,1,...,-1,-1,0] 
    ... 
    [1,0,0,1,1,0,-1,-1,-1,...,-1,-1,0] 
] 
y_train = [1,1,1,0,-1,-1,-1,0,1...,0,1] 

它是一个 arryas 数组,每个数组的大小为 83。 y_train 是每个数组的标签。 所以 len(x_train) 等于 len(y_train)。 我使用 keras 和 theano 后端使用以下代码对此类数据进行训练:

def train(x, y, x_test, y_test): 
    x_train = np.array(x) 
    y_train = np.array(y) 
    print x_train.shape 
    print y_train.shape 
    model = Sequential() 
    model.add(Embedding(x_train.shape[0], output_dim=256)) 
    model.add(LSTM(128)) 
    model.add(Dropout(0.5)) 
    model.add(Dense(1, activation='sigmoid')) 
    model.compile(loss='binary_crossentropy', 
            optimizer='rmsprop', 
            metrics=['accuracy']) 
    model.fit(x_train, y_train, batch_size=16) 
    score = model.evaluate(x_test, y_test, batch_size=16) 
    print score 

但我的网络不适合,结果是:

Epoch 1/10 
1618/1618 [==============================] - 4s - loss: -1.6630 - acc: 0.0043      
Epoch 2/10 
1618/1618 [==============================] - 4s - loss: -2.5033 - acc: 0.0012          
Epoch 3/10 
1618/1618 [==============================] - 4s - loss: -2.6150 - acc: 0.0012          
Epoch 4/10 
1618/1618 [==============================] - 4s - loss: -2.6297 - acc: 0.0012          
Epoch 5/10 
1618/1618 [==============================] - 4s - loss: -2.5731 - acc: 0.0012             
Epoch 6/10 
1618/1618 [==============================] - 4s - loss: -2.6042 - acc: 0.0012          
Epoch 7/10 
1618/1618 [==============================] - 4s - loss: -2.6257 - acc: 0.0012           
Epoch 8/10 
1618/1618 [==============================] - 4s - loss: -2.6303 - acc: 0.0012          
Epoch 9/10 
1618/1618 [==============================] - 4s - loss: -2.6296 - acc: 0.0012          
Epoch 10/10 
1618/1618 [==============================] - 4s - loss: -2.6298 - acc: 0.0012          
283/283 [==============================] - 0s      
[-2.6199024279631482, 0.26501766742328875] 

我想参加这次培训并取得好成绩。

请您参考如下方法:

负损失应该引发巨大的危险信号。损失应始终为正数,接近于零。你说你的 y 是

y_train = [1,1,1,0,-1,-1,-1,0,1...,0,1] 

由于您的损失是 binary_crossentropy,我必须假设目标是 2 类分类问题。当您查看 y 值时,您有 -1、0 和 1。这表明有 3 个类别。大问题,你应该只有 1 和 0。您需要更正您的数据。我对数据一无所知,所以我忍不住将它压缩为两个类。 -1 是负损失的原因。 sigmoid 激活基于范围为 0-1 的 CDF,因此您的类必须适合此函数的两端。


编辑

根据下面评论中的描述,我建议使用 3 类结构。以下是转换为分类值的输出数据示例

from keras.utils import to_categorical 
 
y_train = np.random.randint(-1,2,(10)) 
 
print(y_train) 
 
[-1  0 -1 -1 -1  0 -1  1  1  0] 
 
print(to_categorical(y_train,num_classes=3)) 
 
[[ 0.  0.  1.] 
 [ 1.  0.  0.] 
 [ 0.  0.  1.] 
 [ 0.  0.  1.] 
 [ 0.  0.  1.] 
 [ 1.  0.  0.] 
 [ 0.  0.  1.] 
 [ 0.  1.  0.] 
 [ 0.  1.  0.] 
 [ 1.  0.  0.]] 

现在每个可能的输出都存储在一个单独的列中。您可以看到如何为 -1,0 和 1 分配一个二进制值,即 -1 = [0. 0. 1.], 0 = [1. 0. 0.],1 = [0. 1. 0.]

现在你只需要更新损失函数、输出节点的数量和输出层的激活

model.add(Dense(3, activation='softmax')) 
model.compile(loss='categorical_crossentropy', 
        optimizer='rmsprop', 
        metrics=['accuracy'])