Skip to main content
 首页 » 编程设计

python之从文件名、重叠群标识符和序列长度创建数据框

2024年11月24日11grandyang

我正在尝试从包含标题(重叠群的名称)和 DNA 序列的 fasta 文件创建数据框。在我的数据框的第一列中,我想要文件名,在第二行中,我想要重叠群名称,在第三列中,我想要重叠群序列的长度(数量碱基对 - 我不必计算这个 - 它也在重叠群 ID 中,所以我可以稍后拆分它)。

在 jupyter notebook(嵌入在 bash shell 中)中,我尝试了以下操作:

files = [] 
identifiers = [] 
# r=root, d=directories, f = files 
for r, d, f in os.walk(path): 
    for file in f: 
        if '.fasta' in file: 
            files.append(os.path.join(file)) #this grabs my file names and appends them to files - works 
            open(file, "r") 
            for line in file: 
                identifiers.append(line) # this would grab the identifier - found on the first line of the file 
 

我希望这会用 filename1、filename2、filename3 填充 files=[] 和 identifiers=[] with >contig_id_1_length=309, >contig_id_2_length=400, >contig_id_3_length=40009 等。然后我可以用 split() 拆分重叠群 ID 以检索重叠群的长度并将所有 3 个系列添加到 pd 数据帧。

请您参考如下方法:

所以我生成了一些虚拟数据:

f1.fasta

>ctg_1_length=147 
TCGTGGTCACCGATCGAAGATCCAATATCCGGAGATCGTCTACCTGTATGTAGTAAGCGCAAGGCCCGTTTACTGCGTCACCCTAGCAGAACGCCGACCAGGTCTCCTATAGTCACCGGCCTCGCACCTTTAAGTATGTATAGACGG 
>ctg_2_length=141 
GCTTGGGTGGGAACGGCTCGTGGCGGAGTACCCGAGAGTGGTTTCGGTATCTGGTGTCGTGCCAGGTTTAATTGAAAATTCAAGATTTTAAGTATCGCTTCAGATAGATTACTTACTGCGAGTGCCTTGTCACAGGGCGGG 
>ctg_3_length=124 
CCTTCGACCATGGATATCCTAACTCAGCCCCAGCCAGCTAACTCTGGACCAACCGAGAGCGTCTTTCTTTGATGTAACTAAGCTGGCGTTGGGCCCCCCGGTGTTCTAACGTATCTGAAGCCAA 
>ctg_4_length=124 
CGCGAACTTATCTTGTTATCGAAGATAGCTGTAGGAACTCGGCCAGCCCGACTATTTCGTTCGCCGCTTTCCCCTGGCTCTAGATGCAGTCCACAGATTCTTCTCAGGTGATGCGAGGAACAGG 
>ctg_5_length=137 
CCAACCCCTGCTCTAGGCTTACCGCCAAGCTACTCAATGGTTCGGTCGATGCAGAACGTATTACTATGTTCTCGACTCTCTGAAACCGCTGTCTACGAGGCAAGCCCCAAAATAGATGGAGGGGCCTCGCCTGTGGG 

f2.fasta

>ctg_1_length=106 
TCGATATTGGTTAAGGCGCGCAGCAATTTGGGAGTTGACGCACAACGTTCGGATGCGAGAGTGAGCATACGGTAGAGCCGAACCCACAATGGGTAACCGAACGACA 
>ctg_2_length=60 
CTACGATCTGAAATCCACTTCACGTGATCCGCGAGATGGGTTATTCGGTTTTTAGAACAT 
>ctg_3_length=145 
ACACTTATATCCACGATTGAGTGGCTCATCGGTGTGACACTCTGACGTCGTTTGAATACCTGCCCGGACAGGGTTTTCGTCAAACTCCCCGCGACGGTTCGTAACTGTCTGTACCCGTCGGCTGGACGAAGTTTAGATATAAAAC 
>ctg_4_length=88 
GAGCCGCTACATTACTTAATAACTTACAAAGGGCGAAGTCACATATTTCGTAAGAAGCATTCCTCGTCAGAATCCATTCCAAACCCCA 
>ctg_5_length=87 
CTACGCTAAGCTGCGGTACGACGGGGATATTACACGTACTAATCCATACCAACTAAATGGCATGTTGTTGAAGATAGCACTTTGAGG 

以下代码是一种“纯”python 方法,它不需要任何其他模块(除了 pandas,用于 DataFrame):

import pandas as pd 
from pathlib import Path 
 
files = [x for x in Path().iterdir() if x.suffix == ".fasta"] 
# [PosixPath('f1.fasta'), PosixPath('f2.fasta')] 
read_list = [] 
for file in files: 
    with file.open("r") as handle: 
        for line in handle: 
            if line.startswith(">"): 
                line = line.strip() 
                read_list.append((file.name,  # Change to file.resolve() for the absolute path 
                                  *line[1:].split("=") 
                                )) 
 
df = pd.DataFrame(read_list, columns=["file", "ctg", "len"]) 
 
#        file           ctg  len 
# 0  f1.fasta  ctg_1_length  147 
# 1  f1.fasta  ctg_2_length  141 
# 2  f1.fasta  ctg_3_length  124 
# 3  f1.fasta  ctg_4_length  124 
# 4  f1.fasta  ctg_5_length  137 
# 5  f2.fasta  ctg_1_length  106 
# 6  f2.fasta  ctg_2_length   60 
# 7  f2.fasta  ctg_3_length  145 
# 8  f2.fasta  ctg_4_length   88 
# 9  f2.fasta  ctg_5_length   87 

或者,您可以使用 SeqIO来自 biopython :

import pandas as pd 
from pathlib import Path 
from Bio import SeqIO  
 
files = [x for x in Path().iterdir() if x.suffix == ".fasta"] 
read_list = [] 
for file in files: 
    with file.open("r") as handle: 
        for record in SeqIO.parse(handle, "fasta"): 
            read_list.append((file.name, record.id, len(record.seq))) 
 
df = pd.DataFrame(read_list, columns=["file", "ctg", "len"]) 
 
#        file               ctg  len 
# 0  f1.fasta  ctg_1_length=147  147 
# 1  f1.fasta  ctg_2_length=141  141 
# 2  f1.fasta  ctg_3_length=124  124 
# 3  f1.fasta  ctg_4_length=124  124 
# 4  f1.fasta  ctg_5_length=137  137 
# 5  f2.fasta  ctg_1_length=106  106 
# 6  f2.fasta  ctg_2_length=60    60 
# 7  f2.fasta  ctg_3_length=145  145 
# 8  f2.fasta  ctg_4_length=88    88 
# 9  f2.fasta  ctg_5_length=87    87 

这两者的工作原理相同,即构建元组的列表 (read_list)。由于每个元组都充当记录,pandas 可以非常轻松地将它们转换为 DataFrame。