Skip to main content
 首页 » 编程设计

python之按行总和和值过滤

2025年05月04日16davidwang456

我正在尝试过滤 DataFrame 中的行。我必须过滤掉所有总和为 0 的 rows 以及 5% 或更多值等于 0 的所有 rows。

DataFrame 是 50000 行 x 120 列。我设法过滤所有和为0的行,但不是那些有5%或更多的值等于0的行。

import pandas as pd 
 
df = pd.read_csv("file. 
a = df[df.sum(axis=1) > 0]  
 
gene1   0.000000     0.000000    4108.683105      41.675945        0.000000 
gene2   2650.009521  3437.226807  20.767439         0.000000      902.217712  

请您参考如下方法:

您可以使用 .mask() 过滤掉非零值:

masked = df.mask(df!=0) 

如果您随后.count(axis=1),您将获得每个行的非零值计数,并且可以获得一个 bool 索引 通过将结果与 column count 进行比较。

使用以下示例数据:

df = pd.DataFrame(np.random.randint(low=0, high=10, size=(100, 50))) 
df_colcount = float(len(df.columns)) 
df['zero_count'] = df.mask(df!=0).count(axis=1) 
df['zero_share'] = df.mask(df!=0).count(axis=1).div(df_colcount) 

从这里您可以过滤您需要的行:

df[df.zero_share < 0.05] 
 
    0  1  2  3  4  5  6  7  8  9     ...      42  43  44  45  46  47  48  49  \ 
0   4  0  3  1  6  4  5  8  8  9     ...       4   7   9   4   5   9   4   5    
8   7  1  2  1  5  2  4  4  5  7     ...       5   6   3   3   3   4   9   4    
19  6  6  2  9  2  4  9  8  6  1     ...       2   6   5   9   4   9   7   5    
23  7  8  4  1  4  5  6  5  5  5     ...       3   8   9   8   5   5   5   3    
53  3  7  9  5  0  2  3  3  3  1     ...       5   4   7   1   2   7   7   1    
70  7  9  6  4  4  8  6  3  1  3     ...       1   1   1   9   1   3   1   5    
77  4  4  2  4  2  9  8  2  6  8     ...       8   8   7   8   2   3   5   9    
85  5  7  0  4  6  2  6  5  7  8     ...       9   8   6   6   2   4   5   5    
98  9  9  6  6  4  7  9  1  6  4     ...       4   6   1   2   4   1   8   1    
 
    zero_count  zero_share   
0            2        0.04   
8            1        0.02   
19           2        0.04   
23           2        0.04   
53           2        0.04   
70           1        0.02   
77           2        0.04   
85           2        0.04   
98           1        0.02  

您当然可以一步完成所有这些:

df[df.mask(df!=0).count(axis=1).div(float(len(df.columns))) < 0.05] 

或者,您确实可以使用掩码来识别具有非零值的行 .mask(df==0) 然后只保留那些超过 95% 的此类值。这些是获得相同结果的等效方法。