我正在尝试编写 K 均值聚类程序,其中需要欧氏距离。我理解当数据存储在列表中时它是如何工作的,如下面的代码。
for featureset in data:
distances = [np.linalg.norm(featureset - self.centroids[centroid]) for centroid in self.centroids]
cluster_label = distances.index(min(distances))
但我的数据集非常大(大约 400 万行),因此使用列表或数组肯定不是很有效。我想将数据存储在数据框中。我正在考虑迭代每一行 data 并进行欧几里德计算,但它似乎并不那么有效,即使我使用 iteruples() 或 iterrows。我想知道是否有更有效的方法来做到这一点。
请您参考如下方法:
当您在列表理解中计算距离时,centroid 已经是列表 self.centroids 的元素,因此无需在您的范数计算中再次对其进行订阅。您提供的代码可能应该更改为如下所示:
distances = [np.linalg.norm(featureset - centroid) for centroid in self.centroids]
但是,如果您使用 np.array 来存储 data,这可能会更有效率:
cluster_label = np.linalg.norm(self.centroids - featureset, axis=1).argmin()
让我们定义函数,该函数将返回某些featureset 的质心标签:
def get_label(featureset):
return np.linalg.norm(self.centroids - featureset, axis=1).argmin()
现在我们可以在整个数据集上应用这个函数:
labels = np.apply_along_axis(get_label, 1, data)
如果 data 太大而无法作为单个 np.array 处理,您可以将其拆分为较小的和平,分别处理它们,然后连接结果。
