Skip to main content
 首页 » 编程设计

python之在 scipy 中计算稀疏矩阵的列之间的相关性时如何忽略零

2025年05月04日8lovecherry

我有一个大小为 100 万行 * 1500 列的稀疏 csr 矩阵。我想计算列之间的相关性。

def corrcoef_csr(x, axis=0): 
    '''correlation matrix, return type ndarray''' 
    covx = cov_csr(x, axis=axis) 
    stdx = np.sqrt(np.diag(covx))[np.newaxis,:] 
    return covx/(stdx.T * stdx) 
 
def cov_csr(x, axis=0): 
    '''return covariance matrix, assumes column variable 
    return type ndarray''' 
    meanx = x.sum(axis=axis)/float(x.shape[axis]) 
    if axis == 0: 
        return np.array((x.T*x)/x.shape[axis] - meanx.T*meanx) 
    else: 
        return np.array((x*x.T)/x.shape[axis] - meanx*meanx.T) 

我正在使用 corrcoef_csr(ip_matrix) 计算当前相关性。但是,我想在计算这些列之间的相关性时忽略两列都为零的条目。

任何想法,我该怎么做?

请您参考如下方法:

你可以使用 numpy non zero 来返回一个只有非零元素的数组,例如xnz = x[numpy.nonzero(x)]。您需要确保您使用的形状等对应于缩小数组 xnz.shape[axis] 的大小。

你也可以使用掩码 arrays或将零转换为 nan 并使用 np.nanmean 和 np.nanstd。有一个关于一般缺失数据的有趣讨论 http://docs.scipy.org/doc/numpy-dev/neps/missing-data.html