我有一个大小为 100 万行 * 1500 列的稀疏 csr 矩阵。我想计算列之间的相关性。
def corrcoef_csr(x, axis=0):
'''correlation matrix, return type ndarray'''
covx = cov_csr(x, axis=axis)
stdx = np.sqrt(np.diag(covx))[np.newaxis,:]
return covx/(stdx.T * stdx)
def cov_csr(x, axis=0):
'''return covariance matrix, assumes column variable
return type ndarray'''
meanx = x.sum(axis=axis)/float(x.shape[axis])
if axis == 0:
return np.array((x.T*x)/x.shape[axis] - meanx.T*meanx)
else:
return np.array((x*x.T)/x.shape[axis] - meanx*meanx.T)
我正在使用 corrcoef_csr(ip_matrix) 计算当前相关性。但是,我想在计算这些列之间的相关性时忽略两列都为零的条目。
任何想法,我该怎么做?
请您参考如下方法:
你可以使用 numpy non zero 来返回一个只有非零元素的数组,例如xnz = x[numpy.nonzero(x)]。您需要确保您使用的形状等对应于缩小数组 xnz.shape[axis] 的大小。
你也可以使用掩码 arrays或将零转换为 nan 并使用 np.nanmean 和 np.nanstd。有一个关于一般缺失数据的有趣讨论 http://docs.scipy.org/doc/numpy-dev/neps/missing-data.html
