Skip to main content
 首页 » 编程设计

python之我可以仅对多个数据类型的 DataFrame 中的数值数据使用 K-Means 吗

2024年11月01日9lexus

我正在做一个分析电子商务网站页面访问的项目。它监控数值、数值离散(连续数字但仅限整数)和分类变量。

我的理解是,由于 KMeans 的性质是采用均值并对数字/距离进行计算,因此它不能很好地处理分类变量。我也不认为它适用于数字离散值,因为当这些离散值不应该有分数时,它会使用小数来解释它们。

这是我如何运行 sklearn 的 KMeans 的代码,测量 k 个具有剪影分数的集群并使用最高分数的 k 个集群。我创建了一个名为 cluster_df 的数据框,其中仅包含原始数据框中的数字特征,然后为每个集群分离数据框:

from sklearn.preprocessing import StandardScaler 
scaler = StandardScaler() 
cluster_df[cluster_attribs] = scaler.fit_transform(cluster_df[cluster_attribs]) 
 
k_rng = range(2,10) 
silhouette = [] 
for k in k_rng: 
    kmeans = KMeans(n_clusters=k) 
    kmeans.fit(cluster_df[cluster_attribs]) 
    silhouette.append(silhouette_score(cluster_df[cluster_attribs], kmeans.labels_)) 
 
kmeans = KMeans(n_clusters=3) 
y_pred = kmeans.fit_predict(cluster_df[cluster_attribs]) 
cluster_df['cluster'] = y_pred 
# inverse StandardScaler to return values to normal 
cluster_df[cluster_attribs] = scaler.inverse_transform(cluster_df[cluster_attribs]) 
 
cluster0 = cluster_df[cluster_df.cluster==0] 
cluster1 = cluster_df[cluster_df.cluster==1] 
cluster2 = cluster_df[cluster_df.cluster==2] 

然后我根据这 3 个集群执行数据可视化/分析。对数据进行聚类似乎效果很好,即使在查看分类数据时,它似乎也与脑海中的那些聚类在一起,即使它们并未包含在实际聚类中。

例如,Revenue 是我未包含在 KMeans 中的二进制列。但是我的 3 个集群似乎通过在数值变量上运行它就将我的客户很好地分为低收入、中等收入和高收入。

我的问题是:

1) KMeans 只适用于数值数据,而不适用于离散数值或分类数据,这是真的吗? (我读过有一些方法可以将分类变量转换为数值,但由于它对这个项目的性质,它看起来很复杂而且不可靠准确。我知道 OneHotEncoder/LabelEncoder/MultiLabelBinarizer 但我的意思是转换它们保持类别之间的距离记住哪个更复杂)。

2) 仅在数值数据上运行 KMeans,分成聚类,然后通过查看所有变量(数值、离散数值、分类)的数据聚类结果分开了吗?

请您参考如下方法:

1)

  • 我通常将它们转换为使用 oneHot,然后我将 n 的值除以该类别中唯一身份的数量,通常这工作正常。在这种情况下,对于您已经拥有的每个分类列,您将拥有更多 n-1 列
  • 如果您有序数值,请使用 LabelEncoder,然后按照我之前的解释将它们分开。在这种情况下,您将保留相同数量的列

2)

  • 如果您的数据集在没有分类数据的情况下运行良好,为什么不呢?但我会建议你测试更多的可能性