我有一个包含数值的数据集。我想衡量列之间的相关性
让我们考虑一下:
dataset = pd.DataFrame({'A':np.random.rand(100)*1000,
'B':np.random.rand(100)*100,
'C':np.random.rand(100)*10,
't':np.random.rand(100)})
从数学上讲,不相关的数据意味着 cov(a,b) = 0。但对于真实数据,它应该接近于零。
np.cov(a,b)
这个 numpy 应该给我们两个之间的协方差值。但我想确保我的数据集不相关,有什么技巧可以做到这一点吗?
更新
from matplotlib.mlab import PCA
results = PCA(dataset.values)
请您参考如下方法:
我有一个我引用的协方差代码片段:
mean = np.mean(matrix,axis=0)
# make a mean matrix the same shape as data for subtraction
mean_mat = np.outer(np.ones((nsamples,1)),mean)
cov = matrix - mean_mat
cov = np.dot(cov.T,cov)/(nsamples -1)
cov是numpy数组,mean是行方向的均值。
注意矩阵不需要是正方形的。
然后您可以使用协方差矩阵通过使用 Penrose pseudo inverse 将数据乘以逆协方差来“去除方差” :
U,S,V = svd(cov)
D = np.diag(1./S)
# inv = VT.(D^-1).UT
# where cov = U.D.V
inverse_cov = np.dot(V.T,np.dot(D,U.T))
