Skip to main content
 首页 » 编程设计

python之识别重复项和相应的索引

2024年11月24日8linjiqin

我正在连接来自不同样本的突变数据的多个数据帧。我知道会有重复,即几个样本会有相同的共同突变。我想删除相同突变的额外重复行,而是包含一个列,其中包含具有该突变的所有样本。我不认为 df.drop_duplicates() 会像 np.unique() 那样这样做。

简化示例:

import pandas as pd 
df = pd.DataFrame({"Chromosome":[1, 1, 1, 1, 1], 
               'Position': [100, 220,300,100,220], 
               "Gene":["CHD1","BRCA2","TP53","CHD1", "BRCA2"],  
               "SAMPLE":["A1","A2","A3","A4", "A5"]}) 
df 
Output: 
     Chromosome Position Gene   SAMPLE 
 0        1     100      CHD1      S1 
 1        1     220      BRCA2     S2 
 2        1     300      TP53      S3 
 3        1     100      CHD1      S4 
 4        1     220      BRCA2     S5 

最后我想这样:

df_new  
Output: 
     Chromosome Position Gene   SAMPLES     Count  
 0        1     100      CHD1      [S1, S4]    2 
 1        1     220      BRCA2     [S2,S5]     2 
 2        1     300      TP53      S3          1 

我敢肯定有一些简单的方法可以做到这一点,但我想念它。

这是我在 numpy 中一直使用的方法(使用 np.uniue(return_inverse=True) 的反向输出)。它有效,但效率不高。

Samples = array(master_df['Sample_ID'], dtype=str) 
temp_array = array(master_df[master_df.columns[0:3]], dtype=str) 
temp_unq, ind1, inv1, cnts1 = unique(temp_array, return_index= True, return_inverse=True, return_counts=True, axis=0) 
s1 = [[] for i in cnts1] 
for i in range(temp_unq.shape[0]):  
        whr = np.where(inv1==i)[0] 
        s1[i].append(list(Samples[whr])) 
    unq_combo = master_df.iloc[ind1] 
    unq_combo = unq_combo.reset_index(drop=True) 
    unq_combo['Counts'] =pd.Series(cnts1) 
    unq_combo['Samples#'] = pd.Series(s1) 

请您参考如下方法:

使用groupby和agg:

df.groupby(['Chromosome', 'Position', 'Gene']).SAMPLE.agg([list, 'count']) 
                               list  count 
Chromosome Position Gene                   
1          100      CHD1   [S1, S4]      2 
           220      BRCA2  [S2, S5]      2 
           300      TP53       [S3]      1 

(df.groupby(['Chromosome', 'Position', 'Gene']).SAMPLE 
   .agg([list, 'count']) 
   .reset_index()) 
 
   Chromosome  Position   Gene      list  count 
0           1       100   CHD1  [S1, S4]      2 
1           1       220  BRCA2  [S2, S5]      2 
2           1       300   TP53      [S3]      1