Skip to main content
 首页 » 编程设计

python之如何使 python 机器学习库适合增量学习

2024年10月24日22unruledboy

我需要使用新的训练数据频繁地更新我的训练模型,而不想重新进行整个训练,那么如何使用一些现有的库和 ML 算法使其适合增量学习?理想情况下希望看到 NLTK 贝叶斯或 scikit 贝叶斯的示例。这里已经有一些答案说这很困难,但我相信会有一些库允许我们这样做:

模型更新(新训练数据)

不对整个数据重复相同的操作?

请您参考如下方法:

在 scikit-learn 中,您可以使用 MultinomialNB 中提供的 partial_fit() 函数, GaussianNB , 和 BernoulliNB逐步使您的模型适合批量数据。当您处理大量数据而无法一次将其全部放入内存时,这很有用。

显示其工作原理的示例如下:

from sklearn.naive_bayes import GaussianNB 
import numpy as np 
import pandas as pd 
 
X = np.array([[1],[0],[2],[3],[4],[5],[1],[2],[3],[1],[3]]) 
Y = np.array([1,1,1,1,1,0,0,0,0,1,1]) 
all_classes = np.array([0,1]) 
 
clf = GaussianNB() 
 
print clf.partial_fit(X, Y, classes=all_classes).class_count_ 
 
print clf.partial_fit(X,Y, classes=all_classes).class_count_ 

产量

[ 4.  7.] 
[  8.  14.] 

这是有道理的,因为分类器会看到 4 个 0 和 7 个 1 两次。