我需要使用新的训练数据频繁地更新我的训练模型,而不想重新进行整个训练,那么如何使用一些现有的库和 ML 算法使其适合增量学习?理想情况下希望看到 NLTK 贝叶斯或 scikit 贝叶斯的示例。这里已经有一些答案说这很困难,但我相信会有一些库允许我们这样做:
模型更新(新训练数据)
不对整个数据重复相同的操作?
请您参考如下方法:
在 scikit-learn 中,您可以使用 MultinomialNB 中提供的 partial_fit() 函数, GaussianNB , 和 BernoulliNB逐步使您的模型适合批量数据。当您处理大量数据而无法一次将其全部放入内存时,这很有用。
显示其工作原理的示例如下:
from sklearn.naive_bayes import GaussianNB
import numpy as np
import pandas as pd
X = np.array([[1],[0],[2],[3],[4],[5],[1],[2],[3],[1],[3]])
Y = np.array([1,1,1,1,1,0,0,0,0,1,1])
all_classes = np.array([0,1])
clf = GaussianNB()
print clf.partial_fit(X, Y, classes=all_classes).class_count_
print clf.partial_fit(X,Y, classes=all_classes).class_count_
产量
[ 4. 7.]
[ 8. 14.]
这是有道理的,因为分类器会看到 4 个 0 和 7 个 1 两次。
