我有一些数据文件是由我实验室中使用的一些相当骇人听闻的脚本生成的。该脚本非常有趣,因为它在标题之前附加的行数因文件而异(尽管它们具有相同的格式并具有相同的标题)。
我正在编写一个批处理来将所有这些文件处理成数据帧。如果我不知道位置,如何让 Pandas 识别正确的标题?我知道确切的 heder 文本,以及它前面两行的文本(它们是文档中唯一连续的 \r\n 实例)。
我尝试在文档末尾定义 null skipping 并选择(谢天谢地)每个文件包含的固定数量的数据行:
df = pd.read_csv(myfile, skipfooter=0, nrows=267)
那没有用。
你还有什么想法吗?
请您参考如下方法:
您可以打开文件并迭代它直到满足连续的\r\n,并将结果传递给解析器,即
with open(csv_file_name, 'rb') as source:
consec_empty_lines = 0
for line in source:
if line == '\r\n':
consec_empty_lines += 1
if consec_empty_lines == 2:
break
else:
consec_empty_lines = 0
df = pd.read_csv(source)
