我正在尝试过滤 DataFrame 中的行。我必须过滤掉所有总和为 0 的 rows 以及 5% 或更多值等于 0 的所有 rows。
DataFrame 是 50000 行 x 120 列。我设法过滤所有和为0的行,但不是那些有5%或更多的值等于0的行。
import pandas as pd
df = pd.read_csv("file.
a = df[df.sum(axis=1) > 0]
gene1 0.000000 0.000000 4108.683105 41.675945 0.000000
gene2 2650.009521 3437.226807 20.767439 0.000000 902.217712
请您参考如下方法:
您可以使用 .mask() 过滤掉非零值:
masked = df.mask(df!=0)
如果您随后.count(axis=1),您将获得每个行的非零值计数,并且可以获得一个 bool 索引 通过将结果与 column count 进行比较。
使用以下示例数据:
df = pd.DataFrame(np.random.randint(low=0, high=10, size=(100, 50)))
df_colcount = float(len(df.columns))
df['zero_count'] = df.mask(df!=0).count(axis=1)
df['zero_share'] = df.mask(df!=0).count(axis=1).div(df_colcount)
从这里您可以过滤您需要的行:
df[df.zero_share < 0.05]
0 1 2 3 4 5 6 7 8 9 ... 42 43 44 45 46 47 48 49 \
0 4 0 3 1 6 4 5 8 8 9 ... 4 7 9 4 5 9 4 5
8 7 1 2 1 5 2 4 4 5 7 ... 5 6 3 3 3 4 9 4
19 6 6 2 9 2 4 9 8 6 1 ... 2 6 5 9 4 9 7 5
23 7 8 4 1 4 5 6 5 5 5 ... 3 8 9 8 5 5 5 3
53 3 7 9 5 0 2 3 3 3 1 ... 5 4 7 1 2 7 7 1
70 7 9 6 4 4 8 6 3 1 3 ... 1 1 1 9 1 3 1 5
77 4 4 2 4 2 9 8 2 6 8 ... 8 8 7 8 2 3 5 9
85 5 7 0 4 6 2 6 5 7 8 ... 9 8 6 6 2 4 5 5
98 9 9 6 6 4 7 9 1 6 4 ... 4 6 1 2 4 1 8 1
zero_count zero_share
0 2 0.04
8 1 0.02
19 2 0.04
23 2 0.04
53 2 0.04
70 1 0.02
77 2 0.04
85 2 0.04
98 1 0.02
您当然可以一步完成所有这些:
df[df.mask(df!=0).count(axis=1).div(float(len(df.columns))) < 0.05]
或者,您确实可以使用掩码来识别具有非零值的行 .mask(df==0) 然后只保留那些超过 95% 的此类值。这些是获得相同结果的等效方法。
