Skip to main content
 首页 » 编程设计

python之scikit-learn ExtraTreesClassifier之为什么 pickle 文件这么大 (数GB)

2025年05月04日17shangdawei

使用 python + scikit-learn,我将“极度随机化树”分类器 (ExtraTreesClassifier) 拟合到包含 100 个特征(实值 float64)的约 900K 样本数组。然后我试着 pickle 它。

我实例化了分类器:

cls = ExtraTreesClassifier(n_estimators=10, random_state=0, n_jobs=-1)

拟合后,我尝试了两种保存方式:

pickle.dump(cls, open(classifier_file, "wb")) 

并且,使用 joblib:

from sklearn.externals import joblib 
joblib.dump(cls, classifier_file) 

在普通 pickle 中,它占用了 4+ GB 的空间! 在 joblib 版本中,它占用大约 1.5 GB 的空间。

它是否固有地存储了一些原始输入数据拟合或预测?

请您参考如下方法:

单个“极度随机化的树”可能会随着输入数据的大小而增长,因为它创建了一个决策树,将数据拆分为具有少量观察值的叶节点(例如,要么达到参数化限制--默认情况下,这是 min_samples_split=2 或 pure 并且包含一个类)。

具有大量高度预测特征的数据将具有纯节点和更多的观察值,因此占用更少的空间。存储的大小也应该与估计器的数量大致成正比。