我正在处理一个非常大的压缩文本文件“values.gz”,在第二列中包含每个基因的多个值和 geneID,以及另一个在第四列中包含独特基因列表的小文本文件(“bed.gz”)。 TXT”)。我正在尝试从 values.gz 文件中提取 bed.txt 文件中列出的基因子集的信息(无需全部阅读,而是使用 bed.txt 中的字典),并将其保存在每个基因的单独文件中。我不能在 bash 中执行此操作,因为文件太大无法解压缩,所以我在 python 中尝试但我是新手,我被卡住了:我已经提取匹配的基因并将它们保存在文件中,但是如何将每个基因保存到不同的文件?
例如,bed.txt 文件如下所示:
chr start end gene_id
1 11868 11869 ENSG00000223972
1 29552 29553 ENSG00000227232
1 29806 29807 ENSG00000243485
values.gz 文件如下所示:
SNP gene v1 v2 v3
rs1 ENSG00000223972 0.09 0.8 0.5
rs1 ENSG00000227232 -0.06 -0.5 0.6
rs1 ENSG00000237683 -0.05 -0.5 0.5
rs2 ENSG00000223972 0.09 0.8 0.3
rs3 ENSG00000227232 0.09 0.8 0.3
我正在寻找的输出是: ENSG00000223972.gz
rs1 ENSG00000223972 0.09 0.8 0.5
rs2 ENSG00000223972 0.09 0.8 0.3
ENSG00000227232.gz
rs1 ENSG00000227232 -0.06 -0.5 0.6
rs3 ENSG00000227232 0.09 0.8 0.3
(values.gz 中的所有基因在 bed 中应该有一个匹配值(但不是 100% 确定!),但是 bed 文件将列出更多与 values.gz 文件不匹配的基因)
#! /usr/bin/env python
import gzip
lookup = dict()
my_file = open("bed.txt","r")
for line in my_file.readlines():
row = line.split()
lookup[row[3]] = row[1:]
# print lookup
my_file.close()
with open('MyOutFile', 'w') as outfile:
with gzip.open("values.gz", "r") as eqtl:
for line in eqtl.readlines():
for key in lookup:
if line.find(key) > -1:
outfile.write(line)
在 Paisanco 的建议之后:
with gzip.open("values.gz", "r") as eqtl:
for line in eqtl.readlines():
row = line.split()
gene = row[1]
filename = gene+'.txt'
if gene in lookup:
# assign unique file name here, then
if os.path.exists(filename):
append_write = 'a'
else:
append_write = 'w'
with open(filename,append_write) as outfile:
outfile.write(line)
请您参考如下方法:
您可以在这里做两件事。
第一,您似乎在第一个文件的查找表中存储代表 geneID 的数量。如果第二个文件中的数量与第一个文件中的类型和值相同,您可以像这样更有效地搜索查找表:
代码片段:
for line in eqtl.readlines():
row = line.split()
if row[1] in lookup:
# do something...
第二,如果你想为每个基因起一个唯一的名字,你的文件打开和写入应该是内循环,而不是外循环。像这样:
with gzip.open("values.gz", "r") as eqtl:
for line in eqtl.readlines():
row = line.split()
if row[1] in lookup:
# assign unique file name here, then
with open ("UniqueFileNameForThisGene","w") as outfile:
outfile.write(line)
如何为每个基因分配一个唯一的文件名取决于您——也许使用该行中的其他数据?
