Skip to main content
 首页 » 编程设计

python之使用keras进行文档分类之数字的层次序列

2024年12月31日7tintown

我目前正在处理以下情况的分类问题:

标签的长度始终为 5 位数字,例如:

99923 this is sample document one 
56743 this is sample document two 
... 

其中第一个数字代表某个类别,后面的每个数字代表一个子类别,依此类推。

目前我正在使用具有以下设置的 Keras:

model = Sequential() 
model.add(Dense(512, input_shape=(vocab_size,))) 
model.add(Activation('relu')) 
model.add(Dropout(0.3)) 
model.add(Dense(512)) 
model.add(Activation('relu')) 
model.add(Dropout(0.3)) 
model.add(Dense(num_labels)) 
model.add(Activation('softmax')) 
model.summary() 
model.compile(loss='categorical_crossentropy', 
              optimizer='adam', 
              metrics=['accuracy']) 

因为我的训练数据有限(总共大约 80k 个样本),我决定只使用第一个数字来估计主要类别,并且我得到了相当不错的结果,准确率约为 90%,而无需进行任何预处理.

5 - this is sample of maincategory 5 
9 - this is sample of maincategory 9 
... 

现在我想更进一步,用两位数字来预测主要类别和第一个子类别。这让我想到了一个问题,例如,通常没有一个样本。组合“12”。

51 - this is sample of maincategory 51 
95 - this is sample of maincategory 95 
... 

我告诉 Keras 只使用至少有 1 个样本的标签(知道这是废话),得到了大约 40 个标签,总体准确率为 85%,考虑到我已经丢失了很多标签,这似乎相当不错样本。

我的问题是:

是否可以更轻松/更高效地完成这种预测?如果我让我的“两位数”模型从未经训练的类别中预测一个看不见的样本,我会遇到将样本放入错误类别的问题...

我可以使用 Keras 解决这个预测问题吗?

请您参考如下方法:

好吧,正如我在评论部分提到的,我想到的一个想法是为层次结构中的每个类别级别使用一个 softmax 层。例如,对于三个分类级别,我们有三个分类器层:

from keras.models import Model 
 
inp = Input(shape=(vocab_size,)) 
x = Dense(512, activation='relu', input_shape=(vocab_size,))(inp) 
x = Dropout(0.3))(x) 
x = Dense(128, activation='relu'))(x) 
 
cat_1 = Dense(num_labels_cat1, activation='softmax')(x) 
cat_2 = Dense(num_labels_cat2, activation='softmax')(x) 
cat_3 = Dense(num_labels_cat3, activation='softmax')(x) 
 
model = Model(inp, [cat_1, cat_2, cat_3]) 

就好像所有分类级别的信息都编码在最后一个非分类器层的输出中。因此,将其传递到专门的分类器层可以使模型提取有关相应分类级别的信息。

请注意,这可能会或可能不会有良好的性能。你必须通过实验来找出答案。不过,仍有改进的余地。例如,您可以使用 Embedding 层并在您的模型中包含 Conv1D 或 LSTM 层。

如果您不熟悉 Keras Functional API,您可能需要阅读 official guide .