我想知道是否有一个(最好是开源的)库可以根据它们的相似性对 Python 源代码进行聚类——或者,一个代码克隆检测器。
它应该基于已发表论文中的算法(例如AST指纹识别),并且应该清楚地描述它。
我补充说这是为了聚类“Python 源代码”,而不是聚类一般的任何数据。
请您参考如下方法:
有多种方法可以将数据聚集在一起。我在这里举两个例子。
k 均值聚类
您可以使用 scikit-learn 使用 KMeans 模型将数据聚类到组中。基本上每个数据点都会被分配到一个组中。
from sklearn.cluster import KMeans
X = np.array([[1, 2], [2, 3], [2, 3], [3, 5], [4, 2], [1, 1.5]])
kmean_model = KMeans(n_clusters=5, random_state=0)
kmean_model.fit_predict(X)
# return array([4, 2, 2, 3, 0, 1], dtype=int32)
k-mean 聚类算法现在大多数书上都有,你可以引用一下。
层次聚类
对于层次聚类,您必须首先找到距离矩阵,在本例中为 6 x 6,因为我们在 X 中有 6 个数据点。我们得到的结果将是分区号,因此您可以根据输出分区对数据点进行排名。
import numpy as np
from scipy.cluster.hierarchy import fcluster, linkage
from scipy.spatial.distance import cdist
X = np.array([[1, 2], [2, 3], [2, 3], [3, 5], [4, 2], [1, 1.5]])
D = cdist(X, X) # euclidean distance matrix (you can custom distance here as you like)
linkage = linkage(D)
partition = fcluster(linkage, t=0.01, criterion='distance')
# return array([2, 1, 1, 5, 4, 3], dtype=int32)
参见相关论文here .
