Skip to main content
 首页 » 编程设计

python之sklearn.feature_extraction.text 中距离度量的选择之特征工程

2025年05月04日12birdshome

我正在学习有关在 Python 中构建机器学习系统的教程,并且我正在修改它并尝试将新帖子归类为属于 7 个不同类别之一。

english_stemmer = nltk.stem.SnowballStemmer('english') 
class StemmedTfidfVectorizer(TfidfVectorizer): 
    def build_analyzer(self): 
        analyzer = super(TfidfVectorizer, self).build_analyzer() 
        return lambda doc: (english_stemmer.stem(w) for w in analyzer(doc)) 

我的矢量化器如下所示。除此之外,我正在尝试测试对大小为 4 的 n_grams 的敏感性;但我不确定这是否是最佳参数。

vectorizer = StemmedTfidfVectorizer(min_df = 1, stop_words = 'english', decode_error ='ignore', ngram_range=(1, 4)) 

我要分类的“新帖子”被转换成一个向量,然后将其与代表我要比较“新帖子”向量的类别的其他向量进行比较。尽管分类器对某些标签做得很好,但对于其他一些标签,描述帖子的最佳类别是第二高分,而不是第一高分。

我怀疑我的问题是我用来比较向量的距离度量,这是一个简单的欧氏距离。

def dist_norm(v1, v2): 
    v1_normalized = v1/sp.linalg.norm(v1.toarray()) 
    v2_normalized = v2/sp.linalg.norm(v2.toarray()) 
    delta = v1_normalized - v2_normalized 
    return sp.linalg.norm(delta.toarray()) 

我的问题是: 1)是否有其他可以使用的距离度量? 2) 如何修改 dist_norm 以适应其他距离指标? 3) 对于那里的 ML 专家,我的问题是特征工程问题还是距离度量问题?我目前有 7 个具有超过 1MM 特征的大样本(使用 ngram size 4 可能有点矫枉过正) 4)文本分类有没有ipython notebook或者经典教程可以引用? (例如,一个主题可以同时归类为“政治”和“人”,或者一些“模糊度量”来选择 2 个标签而不是一个标签。

谢谢

请您参考如下方法:

余弦相似度 (http://en.wikipedia.org/wiki/Cosine_similarity) 是您可以用来代替欧几里得距离的一种非常常见且有效的度量。

您可以在此处阅读有关余弦相似度在 python 中的实现(以替换 def dist_norm(v1, v2)): Cosine Similarity between 2 Number Lists

据我所知,在处理分类任务时,我们通常不会遇到距离度量问题。如您所知,有几种常用的标准指标。有时人们会使用多个指标,或者他们只使用一个具有不同参数的指标并比较结果,但在实证分类任务中,我们很少修改这些指标,除非你真的想对指标进行理论研究。我认为您应该将您的问题视为一项特征工程任务。

对于许多 IR/NLP 任务,通常建议选择大小为 3 的 n-gram,因为它足够大以捕获一些句法依赖性,但又不会太大而引入太多不相关的信息。

文档/文本分类是一个很大的话题。如果您想了解对文档集合进行分类,您应该了解: 1. 文本预处理 2. (文本)特征提取 2. 相似性度量 3. 机器学习模型 4. ML 模型评估和可视化(可选)

您可能已经知道这一点,但是当您处理文本时,了解正则表达式也非常有用。