Skip to main content
 首页 » 编程设计

python之值错误 : Invalid parameter model for estimator CountVectorizer when using GridSearch parameters

2024年10月24日12yjmyzz

我有一个 sklearn 管道,它使用两种类型的特征进行文本分类:由 CountVectorizer() 和 TfidfTransformer() (TfidfVectorizer()) 生成的标准 tfidf 特征以及一些语言特征。我尝试将不同的 ngram 范围传递给 CountVectorizer(),然后使用 GridSearh 找到最佳的 n。

这是我的代码:

text_clf = Pipeline([('union', FeatureUnion([ 
                              ('tfidf', Pipeline([ 
                                       ('sents', GetItem(key='sent')),  
                                       ('vect', CountVectorizer()), 
                                       ('transform', TfidfTransformer()) 
                               ])), 
                              ('LF', Pipeline([ 
                                     ('features', GetItem(key='features')),  
                                     ('dict_vect', DictVectorizer()) 
                               ]))], 
                               transformer_weights={'LF': 0.6, 'tfidf': 0.8} 
                               )), 
                              ('clf', SGDClassifier()) 
                     ]) 
 
parameters = [{'union__tfidf__vect__model__ngram_range': ((1, 1), (1, 2), (1, 3), (1, 4)),  
            'clf__alpha': (1e-2, 1e-3, 1e-4, 1e-5),  
            'clf__loss': ('hinge', 'log', 'modified_huber', 'squared_hinge', 'perceptron'),  
            'clf__penalty': ('none', 'l2', 'l1', 'elasticnet'),  
            'clf__n_iter': (3, 4, 5, 6, 7, 8, 9, 10)}] 
 
gs_clf = GridSearchCV(text_clf, parameters, cv=5, n_jobs=-1) 
gs_clf = gs_clf.fit(all_data, labels) 

(我省略了一些似乎与问题无关的行。)

但是它抛出一个错误:

ValueError: Invalid parameter model for estimator CountVectorizer(analyzer=u'word', binary=False, charset=None, 
    charset_error=None, decode_error=u'strict', 
    dtype=<type 'numpy.int64'>, encoding=u'utf-8', input=u'content', 
    lowercase=True, max_df=1.0, max_features=None, min_df=1, 
    ngram_range=(1, 1), preprocessor=None, stop_words=None, 
    strip_accents=None, token_pattern=u'(?u)\\b\\w\\w+\\b', 
    tokenizer=None, vocabulary=None) 

TfidfVectorizer() 也是如此。

如果我将 ngram_range 直接传递给管道中的矢量化器,一切都会正常进行: ('vect', CountVectorizer(ngram_range=(1,2)))

谢谢!

请您参考如下方法:

错误是因为你有 union__tfidf__vect__model__ngram_range 而它应该是 union__tfidf__vect__ngram_range。注意它是如何将“模型”称为无效参数的:

ValueError: Invalid parameter model

另外,请注意,我认为使用 TfidfVectorizer 会简化事情。