Skip to main content
 首页 » 编程设计

python之从另一个文件中提取行并将唯一字段保存在 python 中的单独文件中

2025年02月15日10bjzhanghao

我正在处理一个非常大的压缩文本文件“values.gz”,在第二列中包含每个基因的多个值和 geneID,以及另一个在第四列中包含独特基因列表的小文本文件(“bed.gz”)。 TXT”)。我正在尝试从 values.gz 文件中提取 bed.txt 文件中列出的基因子集的信息(无需全部阅读,而是使用 bed.txt 中的字典),并将其保存在每个基因的单独文件中。我不能在 bash 中执行此操作,因为文件太大无法解压缩,所以我在 python 中尝试但我是新手,我被卡住了:我已经提取匹配的基因并将它们保存在文件中,但是如何将每个基因保存到不同的文件?

例如,bed.txt 文件如下所示:

chr    start   end     gene_id 
1       11868   11869   ENSG00000223972 
1       29552   29553   ENSG00000227232 
1       29806   29807   ENSG00000243485 

values.gz 文件如下所示:

SNP     gene    v1    v2  v3 
rs1       ENSG00000223972       0.09      0.8       0.5 
rs1       ENSG00000227232       -0.06     -0.5      0.6 
rs1       ENSG00000237683       -0.05     -0.5      0.5 
rs2       ENSG00000223972       0.09      0.8       0.3 
rs3       ENSG00000227232       0.09      0.8      0.3 

我正在寻找的输出是: ENSG00000223972.gz

rs1       ENSG00000223972       0.09      0.8       0.5 
rs2       ENSG00000223972       0.09      0.8      0.3 

ENSG00000227232.gz

rs1       ENSG00000227232       -0.06     -0.5      0.6 
rs3       ENSG00000227232       0.09      0.8       0.3 

(values.gz 中的所有基因在 bed 中应该有一个匹配值(但不是 100% 确定!),但是 bed 文件将列出更多与 values.gz 文件不匹配的基因)

#! /usr/bin/env python 
import gzip 
 
lookup = dict() 
my_file = open("bed.txt","r")  
for line in my_file.readlines(): 
    row = line.split() 
    lookup[row[3]] = row[1:] 
    # print lookup 
my_file.close() 
 
with open('MyOutFile', 'w') as outfile: 
    with gzip.open("values.gz", "r") as eqtl: 
        for line in eqtl.readlines(): 
            for key in lookup: 
                if line.find(key) > -1:  
                    outfile.write(line) 

在 Paisanco 的建议之后:

with gzip.open("values.gz", "r") as eqtl: 
    for line in eqtl.readlines(): 
        row = line.split() 
        gene = row[1] 
        filename = gene+'.txt' 
        if gene in lookup: 
           # assign unique file name here, then 
           if os.path.exists(filename): 
               append_write = 'a' 
           else: 
               append_write = 'w' 
           with open(filename,append_write) as outfile: 
              outfile.write(line) 

请您参考如下方法:

您可以在这里做两件事。

第一,您似乎在第一个文件的查找表中存储代表 geneID 的数量。如果第二个文件中的数量与第一个文件中的类型和值相同,您可以像这样更有效地搜索查找表:

代码片段:

for line in eqtl.readlines(): 
   row = line.split() 
   if row[1] in lookup: 
       # do something... 

第二,如果你想为每个基因起一个唯一的名字,你的文件打开和写入应该是内循环,而不是外循环。像这样:

with gzip.open("values.gz", "r") as eqtl: 
    for line in eqtl.readlines(): 
        row = line.split() 
        if row[1] in lookup: 
           # assign unique file name here, then 
           with open ("UniqueFileNameForThisGene","w") as outfile: 
              outfile.write(line) 

如何为每个基因分配一个唯一的文件名取决于您——也许使用该行中的其他数据?