Skip to main content
 首页 » 编程设计

python之计算python中两个数据框之间的欧氏距离

2025年02月15日9over140

我正在尝试编写 K 均值聚类程序,其中需要欧氏距离。我理解当数据存储在列表中时它是如何工作的,如下面的代码。

for featureset in data: 
    distances = [np.linalg.norm(featureset - self.centroids[centroid]) for centroid in self.centroids] 
    cluster_label = distances.index(min(distances)) 

但我的数据集非常大(大约 400 万行),因此使用列表或数组肯定不是很有效。我想将数据存储在数据框中。我正在考虑迭代每一行 data 并进行欧几里德计算,但它似乎并不那么有效,即使我使用 iteruples() 或 iterrows。我想知道是否有更有效的方法来做到这一点。

请您参考如下方法:

当您在列表理解中计算距离时,centroid 已经是列表 self.centroids 的元素,因此无需在您的范数计算中再次对其进行订阅。您提供的代码可能应该更改为如下所示:

distances = [np.linalg.norm(featureset - centroid) for centroid in self.centroids] 

但是,如果您使用 np.array 来存储 data,这可能会更有效率:

cluster_label = np.linalg.norm(self.centroids - featureset, axis=1).argmin() 

让我们定义函数,该函数将返回某些featureset 的质心标签:

def get_label(featureset): 
    return np.linalg.norm(self.centroids - featureset, axis=1).argmin() 

现在我们可以在整个数据集上应用这个函数:

labels = np.apply_along_axis(get_label, 1, data) 

如果 data 太大而无法作为单个 np.array 处理,您可以将其拆分为较小的和平,分别处理它们,然后连接结果。