Skip to main content
 首页 » 编程设计

python之稀疏数据集上的谱聚类

2025年05月04日7thcjp

我正在对具有相当多相对稀疏特征的数据集应用谱聚类 (sklearn.cluster.SpectralClustering)。在 Python 中进行谱聚类时,我收到以下警告:

用户警告:图形未完全连接,光谱嵌入可能无法按预期工作。 warnings.warn("图未全连接,谱嵌入"

这之后通常会出现类似这样的错误:

` 
File "****.py", line 120, in perform_clustering_spectral_clustering 
  predicted_clusters = cluster.SpectralClustering(n_clusters=n).fit_predict(features) 
File "****\sklearn\base.py", line 349, in fit_predict 
  self.fit(X) 
File "****\sklearn\cluster\spectral.py", line 450, in fit 
  assign_labels=self.assign_labels) 
File "****\sklearn\cluster\spectral.py", line 256, in spectral_clustering 
  eigen_tol=eigen_tol, drop_first=False) 
File "****\sklearn\manifold\spectral_embedding_.py", line 297, in spectral_embedding 
  largest=False, maxiter=2000) 
File "****\scipy\sparse\linalg\eigen\lobpcg\lobpcg.py", line 462, in lobpcg 
  activeBlockVectorBP, retInvR=True) 
File "****\scipy\sparse\linalg\eigen\lobpcg\lobpcg.py", line 112, in _b_orthonormalize 
  gramVBV = cholesky(gramVBV) 
File "****\scipy\linalg\decomp_cholesky.py", line 81, in cholesky 
  check_finite=check_finite) 
File "****\scipy\linalg\decomp_cholesky.py", line 30, in _cholesky 
  raise LinAlgError("%d-th leading minor not positive definite" % info) 
numpy.linalg.linalg.LinAlgError: 9-th leading minor not positive definite 
numpy.linalg.linalg.LinAlgError: 9-th leading minor not positive definite 
numpy.linalg.linalg.LinAlgError: the leading minor of order 12 of 'b' is not positive definite. The factorization of 'b' could not be completed and no eigenvalues or eigenvectors were computed.` 

但是,当使用相同的设置时并不总是会出现此警告/错误(即它的行为不是很一致,因此很难测试)。它发生在 n_clusters 的不同值上,但它更常发生在值 n=2 和 n > 7 上(至少这是我的简短经验;正如我提到的,它的行为不是很一致)。

我应该如何处理这个警告和相关错误?它取决于特征的数量吗?如果我添加更多怎么办?

请您参考如下方法:

我用n_clusters也遇到过这个问题。由于这是无监督的 ML,因此 n_clusters 没有单一的正确值。在您的情况下,n_cluster 似乎介于 3 和 7 之间。假设您对聚类有一些基本事实,最好的处理方法是尝试 n_cluster 的几个值以查看给定数据集是否出现任何模式,同时确保避免任何超过-配件。 你也可以使用剪影系数(sklearn.metrics.silhouette_score)