Skip to main content
 首页 » 编程设计

python之如何解释 sklearn.tree.tree_tree.value 属性的(意外)值

2024年12月31日7虾米哥

与 AdaBoostClassifier 一起使用的决策树分类器 stub 对应的值属性值与预期不符,我无法确定这些值表示什么。我想了解有助于分析 stub 估计器行为的值以及 stub 对 AdaBoostClassifier 的贡献。与 Stackoverflow 类似的问题与我的数据无关。

版本信息

  • python :3.6.5
  • sklearn 版本:0.20.2

DecisionTreeClassifier stub 配置为:

number_estimators = 301 
bdt= AdaBoostClassifier(DecisionTreeClassifier(max_depth=1),  
algorithm="SAMME.R", n_estimators=number_estimators) 

AdaBoostClassifier 是一个二元分类器,输出状态为 A 类和 B 类(编码为 +1 和 -1)。训练集包含 23 个特征,分类器表现良好(预测准确度、精确度、召回率均约为 79%)。我正在分析错过的预测,以深入了解分类错误。

有 782 个训练样本。 301 个 stub 估计器是通过以下方式从 AdaBoostClassifier 获得的:

tree_stubs = bdt.estimators_ 

对应于第 6 个估计器(基于 0 的列表)的示例 stub :

bdt.estimators_[5] 
DecisionTreeClassifier(class_weight=None, criterion='gini', max_depth=1, 
        max_features=None, max_leaf_nodes=None, 
        min_impurity_decrease=0.0, min_impurity_split=None, 
        min_samples_leaf=1, min_samples_split=2, 
        min_weight_fraction_leaf=0.0, presort=False, 
        random_state=421257592, splitter='best') 

这个 stub 的值:

stub_5.tree_.value 
array([[[0.5       , 0.5       ]], 
   [[0.29308331, 0.1861591 ]], 
   [[0.20691669, 0.3138409 ]]])        

对于那些熟悉 graphviz 的人来说,树桩看起来像:

根节点正确显示样本数 (782)。 value 属性表示 [0.5, 0.5]。我期望 value 属性是每个类中的样本数而不是百分比。但是在根节点中,0.5 的值确实反射(reflect)了我拥有的平衡训练集,两个类的代表相等。

现在是问题。此 stub 中的拆分功能根据小于或等于阈值 -.001 的 delta_win_pct 值来划分样本。我的数据集确实有 385 个 delta_win_pct 小于此阈值的样本记录和 397 个 delta_win_pct 大于阈值的样本。因此样本数据在树 stub 的左右叶节点中是正确的。

但值数据似乎不正确。在左子节点中,值报告为值=[0.293, 0.186],在右子节点中,值=[0.207, 0.314]。请注意,这是 sklearn.tree._tee.Tree 类报告的数据,并不表示 graphviz 有任何问题。

这些价​​值量代表什么?

考虑到左叶节点,我的数据集实际上有 264 个 delta_win_pct <= -0.001 的 A 类样本和 121 个匹配该 split 阈值的 B 类样本。这些数字对应于 [.6857, .3143] 而非 [0.293, 0.186] 的百分比。不正确的值不会与预期值成线性比例关系。

类似地,对于右子节点,值数据提供为 [0.207, 0.314],但对于 delta_win_pct 超过阈值的 397 个样本,预期值应为 [.330, .670]。

我注意到提供的值数据(0.293、0.186、0.207、0.314)中的数字加起来为 1.0。但是每个节点的值加起来不等于 1.0。我尝试使用提供的值作为所有样本的百分比,例如0.293 * 782 = 229 与任何东西都不相关。

有没有人了解所提供的值(value)数据的含义?我对这些值的解释和期望是否不正确?

最后,我注意到数据中值的相对大小与每个节点中的多数样本正确相关。在左子节点中 0.293 大于 0.186 表明左节点具有大多数 A 类样本。而在右叶节点 0.207 < 0.314 表示当 delta_win_pct > 阈值时 B 类样本占多数。我怀疑这就是 AdaBoostClassifier 似乎有效的原因。

无论如何,我想了解这些值(value)观。

请您参考如下方法:

我尝试在生成的数据集上重现它:

import pydot  
import numpy as np 
from IPython.display import Image, display 
from sklearn.externals.six import StringIO   
from sklearn.tree import DecisionTreeClassifier,  _tree 
from sklearn.datasets import make_classification 
from sklearn.ensemble import AdaBoostClassifier 
 
 
X, y = make_classification(n_informative=2, n_features=3, n_samples=200, n_redundant=1, random_state=42, n_classes=2) 
feature_names = ['X0','X1','X2','X3'] 
clf = AdaBoostClassifier(DecisionTreeClassifier(max_depth=1),  
algorithm="SAMME.R", n_estimators=301) 
clf.fit(X, y) 
 
estimator = clf.estimators_[0] 
dot_data = StringIO()  
tree.export_graphviz(estimator, out_file=dot_data, proportion=False, filled=True,node_ids=True,rounded=True,class_names=['0','1'])  
graph = pydot.graph_from_dot_data(dot_data.getvalue()) [0] 
 
def viewPydot(pdot): 
    plt = Image(pdot.create_png()) 
    display(plt) 
viewPydot(graph) 

我发现有两种情况,一种“正确的”(clf.estimators_[0]) 看起来像这样

这里的value代表节点中特定类相对于样本总数的比例,所以node#1:[84/200=0.42,7/200= 0.035],节点#2:[16/200=0.08,93/200=0.465]

如果将 proportion 参数设置为 True,您将获得每个节点的类分布百分比,例如对于节点#2:[16/109, 93/109]=[0.147, 0.853]。是calculated using weighted_n_node_samples 属性,在适当的情况下,该属性等于节点的样本数除以样本总数,例如109/200=0.545, [0.08, 0.465]/0.545=[0.147, 0.853]

另一种情况 (clf.estimators_[4]) 是您遇到的情况:

左节点类:[74, 7]

右节点类:[93, 26]

这里的类别分布与value无关,左节点甚至预测少数类别。 唯一合适的情况似乎是第一个估计器,其他人也有这个问题,也许这是提升程序的一部分?此外,如果您采用任何估算器树并手动进行拟合,您将获得与第一个估算器相同的数字,例如

>>> DecisionTreeClassifier(class_weight=None, criterion='gini', max_depth=1, 
            max_features=None, max_leaf_nodes=None, 
            min_impurity_decrease=0.0, min_impurity_split=None, 
            min_samples_leaf=1, min_samples_split=2, 
            min_weight_fraction_leaf=0.0, presort=False, 
            random_state=441365315, splitter='best').fit(X,y).tree_.value 
array([[[100., 100.]], 
 
       [[ 84.,   7.]], 
 
       [[ 16.,  93.]]])