Skip to main content
 首页 » 编程设计

python之聚类Python源代码

2025年02月15日8zhenyulu

我想知道是否有一个(最好是开源的)库可以根据它们的相似性对 Python 源代码进行聚类——或者,一个代码克隆检测器。

它应该基于已发表论文中的算法(例如AST指纹识别),并且应该清楚地描述它。

我补充说这是为了聚类“Python 源代码”,而不是聚类一般的任何数据。

请您参考如下方法:

有多种方法可以将数据聚集在一起。我在这里举两个例子。

k 均值聚类

您可以使用 scikit-learn 使用 KMeans 模型将数据聚类到组中。基本上每个数据点都会被分配到一个组中。

from sklearn.cluster import KMeans 
 
X = np.array([[1, 2], [2, 3], [2, 3], [3, 5], [4, 2], [1, 1.5]]) 
kmean_model = KMeans(n_clusters=5, random_state=0) 
kmean_model.fit_predict(X) 
 
# return array([4, 2, 2, 3, 0, 1], dtype=int32) 

k-mean 聚类算法现在大多数书上都有,你可以引用一下。

层次聚类

对于层次聚类,您必须首先找到距离矩阵,在本例中为 6 x 6,因为我们在 X 中有 6 个数据点。我们得到的结果将是分区号,因此您可以根据输出分区对数据点进行排名。

import numpy as np 
from scipy.cluster.hierarchy import fcluster, linkage 
from scipy.spatial.distance import cdist 
 
X = np.array([[1, 2], [2, 3], [2, 3], [3, 5], [4, 2], [1, 1.5]]) 
D = cdist(X, X) # euclidean distance matrix (you can custom distance here as you like) 
linkage = linkage(D) 
partition = fcluster(linkage, t=0.01, criterion='distance') 
 
# return array([2, 1, 1, 5, 4, 3], dtype=int32) 

参见相关论文here .