我正在尝试从包含标题(重叠群的名称)和 DNA 序列的 fasta 文件创建数据框。在我的数据框的第一列中,我想要文件名,在第二行中,我想要重叠群名称,在第三列中,我想要重叠群序列的长度(数量碱基对 - 我不必计算这个 - 它也在重叠群 ID 中,所以我可以稍后拆分它)。
在 jupyter notebook(嵌入在 bash shell 中)中,我尝试了以下操作:
files = []
identifiers = []
# r=root, d=directories, f = files
for r, d, f in os.walk(path):
for file in f:
if '.fasta' in file:
files.append(os.path.join(file)) #this grabs my file names and appends them to files - works
open(file, "r")
for line in file:
identifiers.append(line) # this would grab the identifier - found on the first line of the file
我希望这会用 filename1、filename2、filename3 填充 files=[] 和 identifiers=[] with >contig_id_1_length=309, >contig_id_2_length=400, >contig_id_3_length=40009 等。然后我可以用 split() 拆分重叠群 ID 以检索重叠群的长度并将所有 3 个系列添加到 pd 数据帧。
请您参考如下方法:
所以我生成了一些虚拟数据:
f1.fasta
>ctg_1_length=147
TCGTGGTCACCGATCGAAGATCCAATATCCGGAGATCGTCTACCTGTATGTAGTAAGCGCAAGGCCCGTTTACTGCGTCACCCTAGCAGAACGCCGACCAGGTCTCCTATAGTCACCGGCCTCGCACCTTTAAGTATGTATAGACGG
>ctg_2_length=141
GCTTGGGTGGGAACGGCTCGTGGCGGAGTACCCGAGAGTGGTTTCGGTATCTGGTGTCGTGCCAGGTTTAATTGAAAATTCAAGATTTTAAGTATCGCTTCAGATAGATTACTTACTGCGAGTGCCTTGTCACAGGGCGGG
>ctg_3_length=124
CCTTCGACCATGGATATCCTAACTCAGCCCCAGCCAGCTAACTCTGGACCAACCGAGAGCGTCTTTCTTTGATGTAACTAAGCTGGCGTTGGGCCCCCCGGTGTTCTAACGTATCTGAAGCCAA
>ctg_4_length=124
CGCGAACTTATCTTGTTATCGAAGATAGCTGTAGGAACTCGGCCAGCCCGACTATTTCGTTCGCCGCTTTCCCCTGGCTCTAGATGCAGTCCACAGATTCTTCTCAGGTGATGCGAGGAACAGG
>ctg_5_length=137
CCAACCCCTGCTCTAGGCTTACCGCCAAGCTACTCAATGGTTCGGTCGATGCAGAACGTATTACTATGTTCTCGACTCTCTGAAACCGCTGTCTACGAGGCAAGCCCCAAAATAGATGGAGGGGCCTCGCCTGTGGG
f2.fasta
>ctg_1_length=106
TCGATATTGGTTAAGGCGCGCAGCAATTTGGGAGTTGACGCACAACGTTCGGATGCGAGAGTGAGCATACGGTAGAGCCGAACCCACAATGGGTAACCGAACGACA
>ctg_2_length=60
CTACGATCTGAAATCCACTTCACGTGATCCGCGAGATGGGTTATTCGGTTTTTAGAACAT
>ctg_3_length=145
ACACTTATATCCACGATTGAGTGGCTCATCGGTGTGACACTCTGACGTCGTTTGAATACCTGCCCGGACAGGGTTTTCGTCAAACTCCCCGCGACGGTTCGTAACTGTCTGTACCCGTCGGCTGGACGAAGTTTAGATATAAAAC
>ctg_4_length=88
GAGCCGCTACATTACTTAATAACTTACAAAGGGCGAAGTCACATATTTCGTAAGAAGCATTCCTCGTCAGAATCCATTCCAAACCCCA
>ctg_5_length=87
CTACGCTAAGCTGCGGTACGACGGGGATATTACACGTACTAATCCATACCAACTAAATGGCATGTTGTTGAAGATAGCACTTTGAGG
以下代码是一种“纯”python 方法,它不需要任何其他模块(除了 pandas,用于 DataFrame):
import pandas as pd
from pathlib import Path
files = [x for x in Path().iterdir() if x.suffix == ".fasta"]
# [PosixPath('f1.fasta'), PosixPath('f2.fasta')]
read_list = []
for file in files:
with file.open("r") as handle:
for line in handle:
if line.startswith(">"):
line = line.strip()
read_list.append((file.name, # Change to file.resolve() for the absolute path
*line[1:].split("=")
))
df = pd.DataFrame(read_list, columns=["file", "ctg", "len"])
# file ctg len
# 0 f1.fasta ctg_1_length 147
# 1 f1.fasta ctg_2_length 141
# 2 f1.fasta ctg_3_length 124
# 3 f1.fasta ctg_4_length 124
# 4 f1.fasta ctg_5_length 137
# 5 f2.fasta ctg_1_length 106
# 6 f2.fasta ctg_2_length 60
# 7 f2.fasta ctg_3_length 145
# 8 f2.fasta ctg_4_length 88
# 9 f2.fasta ctg_5_length 87
import pandas as pd
from pathlib import Path
from Bio import SeqIO
files = [x for x in Path().iterdir() if x.suffix == ".fasta"]
read_list = []
for file in files:
with file.open("r") as handle:
for record in SeqIO.parse(handle, "fasta"):
read_list.append((file.name, record.id, len(record.seq)))
df = pd.DataFrame(read_list, columns=["file", "ctg", "len"])
# file ctg len
# 0 f1.fasta ctg_1_length=147 147
# 1 f1.fasta ctg_2_length=141 141
# 2 f1.fasta ctg_3_length=124 124
# 3 f1.fasta ctg_4_length=124 124
# 4 f1.fasta ctg_5_length=137 137
# 5 f2.fasta ctg_1_length=106 106
# 6 f2.fasta ctg_2_length=60 60
# 7 f2.fasta ctg_3_length=145 145
# 8 f2.fasta ctg_4_length=88 88
# 9 f2.fasta ctg_5_length=87 87
这两者的工作原理相同,即构建元组的列表 (read_list)。由于每个元组都充当记录,pandas 可以非常轻松地将它们转换为 DataFrame。
