Skip to main content
 首页 » 编程设计

python之用其他 .csv 中的列覆盖 .csv 中的列

2025年05月04日20dyllove98

我已经一个接一个地扩展了我的数据文件,但现在我需要将我的 data_lv1_%Y%m%d.csv 文件中的两行与我的 spektrum_% 中的两列进行交换Y%m%d.csv 文件。

所以我的文件夹中包含 data_lv1_%Y%m%d.csv 和 spektrum_%Y%m%d.csv 我需要找到匹配的 ' data_lvl1....' 和 'spektrum.....' 文件从 spektrum 文件中获取 'columns 2 and 3' 并将其粘贴到 columns and 42 and 43 来自 data_lv1_%Y%m%d.csv 文件 ... 文件中每一行的时间戳都相同 %Y-%m-%d %H:%M

所以 data_lv1_%Y%m%d.csv 看起来像这样:

2014-11-05 08:00    0.19    0.16    0.00    0.16    9   14.0    14.1    14.0    69  8.4 0.0 SSE 0.00    0.4 SSE 14.0    13.6    13.6    14.7    1002.7  0.00    0.0 111 0.16    111 0.0 0.00    0.0 0.003   0.000   25.5    42  11.6    25.1    0.03    17  1   73.9    1   1.264390582977165   982.2914032430997 
2014-11-05 08:01    0.19    0.15    0.00    0.15    9   14.1    14.1    14.1    69  8.5 0.4 SSE 0.03    1.8 SSE 14.1    13.6    13.6    14.9    1002.7  0.00    0.0 116 0.17    116 0.0 0.00    0.0 0.003   0.000   25.5    42  11.6    25.1    0.00    9   1   39.1    1   1.2642303482739734  982.4159036331284   47  40  62  65 
2014-11-05 08:02    0.18    0.15    0.00    0.15    9   14.1    14.1    14.1    69  8.5 0.0 SSW 0.00    0.4 SSW 14.1    13.7    13.7    15.0    1002.9  0.00    0.0 118 0.17    118 0.0 0.00    0.0 0.003   0.000   25.6    42  11.7    25.2    0.00    16  1   69.6    1   1.2643326687934051  982.3363982086155 
2014-11-05 08:03    0.18    0.14    0.00    0.14    9   14.1    14.2    14.1    69  8.5 0.0 SSW 0.00    0.9 SSW 14.1    13.7    13.7    15.1    1002.7  0.00    0.0 121 0.17    121 0.0 0.00    0.0 0.003   0.000   25.6    42  11.7    25.2    0.00    11  1   47.8    1   1.264371779179926   982.3060119275706 
2014-11-05 08:04    0.18    0.14    0.00    0.14    9   14.2    14.2    14.2    69  8.6 0.4 S   0.03    1.3 S   14.2    13.7    13.7    15.1    1002.7  0.00    0.0 121 0.17    121 0.0 0.00    0.0 0.003   0.000   25.7    42  11.8    25.3    0.00    9   1   39.1    1   1.2642078834510273  982.4333610462828 
2014-11-05 08:05    0.16    0.13    0.00    0.13    9   14.2    14.2    14.2    69  8.6 0.4 S   0.03    2.2 S   14.2    13.8    13.8    15.3    1002.8  0.00    0.0 125 0.18    125 0.0 0.00    0.0 0.003   0.000   25.7    42  11.8    25.3    0.00    18  1   78.3    1   1.2641495894315147  982.4786642208419 
2014-11-05 08:06    0.16    0.13    0.00    0.13    9   14.3    14.3    14.2    69  8.7 3.1 S   0.19    6.3 SSW 13.6    13.8    13.1    14.7    1002.8  0.00    0.0 128 0.18    128 0.0 0.00    0.0 0.003   0.000   25.8    42  11.9    25.4    0.00    11  1   47.8    1   1.2641310901311893  982.4930418182402 
2014-11-05 08:07    0.16    0.13    0.00    0.13    9   14.3    14.3    14.3    69  8.7 0.4 SSE 0.03    1.3 S   14.3    13.8    13.8    15.4    1002.7  0.00    0.0 128 0.18    128 0.0 0.00    0.0 0.003   0.000   25.8    42  11.9    25.4    0.00    9   1   39.1    1   1.2640878249125196  982.5266690516158 
2014-11-05 08:08    0.15    0.12    0.00    0.12    9   14.3    14.3    14.3    69  8.7 0.0 SSW 0.00    0.4 SSW 14.3    13.9    13.9    15.5    1002.8  0.00    0.0 128 0.18    128 0.0 0.00    0.0 0.003   0.000   25.9    42  12.0    25.6    0.00    10  1   43.5    1   1.2640420201364455  982.5622726259796 
2014-11-05 08:09    0.15    0.12    0.00    0.12    9   14.3    14.3    14.3    69  8.7 0.9 S   0.05    2.7 S   14.3    13.9    13.9    15.6    1002.7  0.00    0.0 137 0.20    137 0.0 0.00    0.0 0.003   0.000   25.9    42  12.0    25.6    0.00    13  1   56.5    1   1.2640722442946564  982.5387794136938 
2014-11-05 08:10    0.15    0.12    0.00    0.12    9   14.3    14.3    14.3    68  8.5 0.4 S   0.03    1.8 S   14.3    13.8    13.8    15.6    1002.7  0.00    0.0 137 0.20    137 0.0 0.00    0.0 0.003   0.000   26.0    42  12.1    25.7    0.00    14  1   60.9    1   1.263973775777945   982.6153230398941 
2014-11-05 08:11    0.16    0.12    0.00    0.12    9   14.3    14.4    14.3    68  8.5 0.4 SSE 0.03    1.8 S   14.3    13.8    13.8    15.6    1002.7  0.00    0.0 137 0.20    137 0.0 0.00    0.0 0.003   0.000   26.1    41  11.8    25.7    0.00    12  1   52.2    1   1.2639454425247079  982.6373498520063 
2014-11-05 08:12    0.15    0.12    0.00    0.12    9   14.3    14.3    14.3    68  8.5 0.4 SSE 0.03    0.9 SSE 14.3    13.8    13.8    15.6    1002.9  0.00    0.0 137 0.20    137 0.0 0.00    0.0 0.003   0.000   26.2    41  11.9    25.8    0.00    10  1   43.5    1   1.2639898014116238  982.6028648434778 
2014-11-05 08:13    0.15    0.12    0.00    0.12    9   14.4    14.4    14.4    68  8.6 0.4 S   0.03    1.8 S   14.4    13.9    13.9    15.7    1002.8  0.00    0.0 137 0.20    137 0.0 0.00    0.0 0.003   0.000   26.3    41  12.0    25.8    0.00    10  1   43.5    1   1.263874621956528   982.6924114334497 
2014-11-05 08:14    0.15    0.12    0.00    0.12    9   14.4    14.4    14.4    68  8.6 0.0 SSE 0.00    0.4 S   14.4    13.9    13.9    15.7    1002.7  0.00    0.0 137 0.20    137 0.0 0.00    0.0 0.003   0.000   26.5    41  12.2    26.1    0.00    14  1   60.9    1   1.2638742617490812  982.6926915033389 
2014-11-05 08:15    0.15    0.11    0.00    0.11    9   14.4    14.4    14.4    68  8.6 0.4 S   0.03    1.3 S   14.4    13.9    13.9    15.9    1002.7  0.00    0.0 156 0.22    156 0.0 0.00    0.0 0.003   0.000   26.7    41  12.4    26.2    0.00    23  1   100.0   1   1.2638991682523613  982.6733264785339 
2014-11-05 08:16    0.15    0.11    0.00    0.11    9   14.4    14.4    14.4    68  8.6 0.0 S   0.00    1.8 S   14.4    13.9    13.9    16.0    1002.8  0.00    0.0 158 0.23    158 0.0 0.00    0.0 0.003   0.000   26.9    41  12.6    26.4    0.00    23  1   100.0   1   1.2639438134514795  982.6386163546646   60  49  88  82 
2014-11-05 08:17    0.15    0.12    0.00    0.12    9   14.4    14.5    14.4    68  8.6 0.4 S   0.03    1.8 S   14.4    13.9    13.9    16.1    1002.6  0.00    0.0 160 0.23    160 0.0 0.00    0.0 0.003   0.000   27.1    41  12.7    26.6    0.00    24  1   100.0   1   1.2637607975085479  982.780920605032 

spektrum_%Y%m%d.csv 文件如下所示:

2014-11-05 06:54    1.2821175173539188  968.709953018414 
2014-11-05 06:55    1.2816088505861456  969.0944311378387 
2014-11-05 06:56    1.2812624875214302  969.3564059637908 
2014-11-05 06:57    1.2810378335850467  969.5264007341631 
2014-11-05 06:58    1.280514458802534   969.9226677701473 
2014-11-05 06:59    1.2804410978592646  969.9782380278693 
2014-11-05 07:00    1.2799436634193884  970.3552081987569 
2014-11-05 07:01    1.2793760789237318  970.7856981700221 
2014-11-05 07:02    1.2788601016214594  971.1773777485712 
2014-11-05 07:03    1.2787234324253685  971.2811766061762 
2014-11-05 07:04    1.2786275370664746  971.3540213982033 
2014-11-05 07:05    1.2786632282014252  971.3269081390605 

如果我可以用 spektrum_ .... 文件中的列覆盖 data_lvl1.... 文件中的列,那就太好了,但我不介意如果来自 spektrum_%Y%m%d.csv 的数据只是附加在文件的末尾,只要它们不干扰“数据...”的最后一行每 15 分钟只有一个值的文件....

如果能在如何开始以及使用哪些模块方面提供一些帮助,我将不胜感激? Pandas 是这里的一个选择吗…… 最简单和最快的方法是简单地将 spektrum 文件 中的文件附加到 data_lvl1... 的末尾 感谢您的任何建议

编辑:抱歉,问题不明确...合并标准是,对于每个 data_lvl1_TIMESTAMP 文件,文件夹中都有一个 spektrum_TIMESTAMP 文件。时间戳为 %Y%m%d。这两个文件每分钟都有行,我想合并数据行。 spektrum 文件有更多的行(范围从 00:00 到 23:59),data_lvl1 有更少的行。因此,spektrum 文件 中与 data_lvl1 文件中的时间戳匹配的行应添加到 data_lvl1 文件中。 通过覆盖现有的第 43 和 42 列或将其添加到文件末尾。

请您参考如下方法:

您可以使用合并,如果您想要删除带有 NaN 的列,请使用函数 dropna。

也许你不能先读取csv,因为错误:

pandas.parser.CParserError: Error tokenizing data. C error: Expected 42 fields in line 2, saw 46

列数有问题。 Pandas 默认情况下根据第一行数据(可以是标题)确定列数。所以在你的解决方案中,它推荐了 42 列,但在第二行是 46 列。
一种解决方案是将制表符添加到第一行。如果您想删除所有具有 NaN 值的列,您可以添加相同数量或更多的制表符,因为函数 dropna 会删除它们。
下一个解决方案是定义 46 列的所有名称。 link

我使用第一种方法来添加制表符。

import pandas as pd 
import numpy as np 
import io 
 
temp=u"""2014-11-05 08:00   0.19    0.16    0.00    0.16    9   14.0    14.1    14.0    69  8.4 0.0 SSE 0.00    0.4 SSE 14.0    13.6    13.6    14.7    1002.7  0.00    0.0 111 0.16    111 0.0 0.00    0.0 0.003   0.000   25.5    42  11.6    25.1    0.03    17  1   73.9    1   1.264390582977165   982.2914032430997                
2014-11-05 08:01    0.19    0.15    0.00    0.15    9   14.1    14.1    14.1    69  8.5 0.4 SSE 0.03    1.8 SSE 14.1    13.6    13.6    14.9    1002.7  0.00    0.0 116 0.17    116 0.0 0.00    0.0 0.003   0.000   25.5    42  11.6    25.1    0.00    9   1   39.1    1   1.2642303482739734  982.4159036331284   47  40  62  65 
2014-11-05 08:02    0.18    0.15    0.00    0.15    9   14.1    14.1    14.1    69  8.5 0.0 SSW 0.00    0.4 SSW 14.1    13.7    13.7    15.0    1002.9  0.00    0.0 118 0.17    118 0.0 0.00    0.0 0.003   0.000   25.6    42  11.7    25.2    0.00    16  1   69.6    1   1.2643326687934051  982.3363982086155 
2014-11-05 08:03    0.18    0.14    0.00    0.14    9   14.1    14.2    14.1    69  8.5 0.0 SSW 0.00    0.9 SSW 14.1    13.7    13.7    15.1    1002.7  0.00    0.0 121 0.17    121 0.0 0.00    0.0 0.003   0.000   25.6    42  11.7    25.2    0.00    11  1   47.8    1   1.264371779179926   982.3060119275706 
2014-11-05 08:04    0.18    0.14    0.00    0.14    9   14.2    14.2    14.2    69  8.6 0.4 S   0.03    1.3 S   14.2    13.7    13.7    15.1    1002.7  0.00    0.0 121 0.17    121 0.0 0.00    0.0 0.003   0.000   25.7    42  11.8    25.3    0.00    9   1   39.1    1   1.2642078834510273  982.4333610462828 
2014-11-05 08:05    0.16    0.13    0.00    0.13    9   14.2    14.2    14.2    69  8.6 0.4 S   0.03    2.2 S   14.2    13.8    13.8    15.3    1002.8  0.00    0.0 125 0.18    125 0.0 0.00    0.0 0.003   0.000   25.7    42  11.8    25.3    0.00    18  1   78.3    1   1.2641495894315147  982.4786642208419 
2014-11-05 08:06    0.16    0.13    0.00    0.13    9   14.3    14.3    14.2    69  8.7 3.1 S   0.19    6.3 SSW 13.6    13.8    13.1    14.7    1002.8  0.00    0.0 128 0.18    128 0.0 0.00    0.0 0.003   0.000   25.8    42  11.9    25.4    0.00    11  1   47.8    1   1.2641310901311893  982.4930418182402 
2014-11-05 08:07    0.16    0.13    0.00    0.13    9   14.3    14.3    14.3    69  8.7 0.4 SSE 0.03    1.3 S   14.3    13.8    13.8    15.4    1002.7  0.00    0.0 128 0.18    128 0.0 0.00    0.0 0.003   0.000   25.8    42  11.9    25.4    0.00    9   1   39.1    1   1.2640878249125196  982.5266690516158 
2014-11-05 08:08    0.15    0.12    0.00    0.12    9   14.3    14.3    14.3    69  8.7 0.0 SSW 0.00    0.4 SSW 14.3    13.9    13.9    15.5    1002.8  0.00    0.0 128 0.18    128 0.0 0.00    0.0 0.003   0.000   25.9    42  12.0    25.6    0.00    10  1   43.5    1   1.2640420201364455  982.5622726259796 
2014-11-05 08:09    0.15    0.12    0.00    0.12    9   14.3    14.3    14.3    69  8.7 0.9 S   0.05    2.7 S   14.3    13.9    13.9    15.6    1002.7  0.00    0.0 137 0.20    137 0.0 0.00    0.0 0.003   0.000   25.9    42  12.0    25.6    0.00    13  1   56.5    1   1.2640722442946564  982.5387794136938 
2014-11-05 08:10    0.15    0.12    0.00    0.12    9   14.3    14.3    14.3    68  8.5 0.4 S   0.03    1.8 S   14.3    13.8    13.8    15.6    1002.7  0.00    0.0 137 0.20    137 0.0 0.00    0.0 0.003   0.000   26.0    42  12.1    25.7    0.00    14  1   60.9    1   1.263973775777945   982.6153230398941 
2014-11-05 08:11    0.16    0.12    0.00    0.12    9   14.3    14.4    14.3    68  8.5 0.4 SSE 0.03    1.8 S   14.3    13.8    13.8    15.6    1002.7  0.00    0.0 137 0.20    137 0.0 0.00    0.0 0.003   0.000   26.1    41  11.8    25.7    0.00    12  1   52.2    1   1.2639454425247079  982.6373498520063 
2014-11-05 08:12    0.15    0.12    0.00    0.12    9   14.3    14.3    14.3    68  8.5 0.4 SSE 0.03    0.9 SSE 14.3    13.8    13.8    15.6    1002.9  0.00    0.0 137 0.20    137 0.0 0.00    0.0 0.003   0.000   26.2    41  11.9    25.8    0.00    10  1   43.5    1   1.2639898014116238  982.6028648434778 
2014-11-05 08:13    0.15    0.12    0.00    0.12    9   14.4    14.4    14.4    68  8.6 0.4 S   0.03    1.8 S   14.4    13.9    13.9    15.7    1002.8  0.00    0.0 137 0.20    137 0.0 0.00    0.0 0.003   0.000   26.3    41  12.0    25.8    0.00    10  1   43.5    1   1.263874621956528   982.6924114334497 
2014-11-05 08:14    0.15    0.12    0.00    0.12    9   14.4    14.4    14.4    68  8.6 0.0 SSE 0.00    0.4 S   14.4    13.9    13.9    15.7    1002.7  0.00    0.0 137 0.20    137 0.0 0.00    0.0 0.003   0.000   26.5    41  12.2    26.1    0.00    14  1   60.9    1   1.2638742617490812  982.6926915033389 
2014-11-05 08:15    0.15    0.11    0.00    0.11    9   14.4    14.4    14.4    68  8.6 0.4 S   0.03    1.3 S   14.4    13.9    13.9    15.9    1002.7  0.00    0.0 156 0.22    156 0.0 0.00    0.0 0.003   0.000   26.7    41  12.4    26.2    0.00    23  1   100.0   1   1.2638991682523613  982.6733264785339 
2014-11-05 08:16    0.15    0.11    0.00    0.11    9   14.4    14.4    14.4    68  8.6 0.0 S   0.00    1.8 S   14.4    13.9    13.9    16.0    1002.8  0.00    0.0 158 0.23    158 0.0 0.00    0.0 0.003   0.000   26.9    41  12.6    26.4    0.00    23  1   100.0   1   1.2639438134514795  982.6386163546646   60  49  88  82 
2014-11-05 08:17    0.15    0.12    0.00    0.12    9   14.4    14.5    14.4    68  8.6 0.4 S   0.03    1.8 S   14.4    13.9    13.9    16.1    1002.6  0.00    0.0 160 0.23    160 0.0 0.00    0.0 0.003   0.000   27.1    41  12.7    26.6    0.00    24  1   100.0   1   1.2637607975085479  982.780920605032""" 
 
#for testing use io.StringIO(temp) 
df = pd.read_csv(io.StringIO(temp), sep="\t", header=None) 
#insteed io.StringIO(temp) use file 
#df = pd.read_csv('data.csv', sep="\t", header=None) 
print df 
 
temp1=u"""2014-11-05 06:54  1.2821175173539188  968.709953018414 
2014-11-05 07:55    1.2816088505861456  969.0944311378387 
2014-11-05 07:56    1.2812624875214302  969.3564059637908 
2014-11-05 07:57    1.2810378335850467  969.5264007341631 
2014-11-05 07:58    1.280514458802534   969.9226677701473 
2014-11-05 07:59    1.2804410978592646  969.9782380278693 
2014-11-05 08:00    1.2799436634193884  970.3552081987569 
2014-11-05 08:01    1.2793760789237318  970.7856981700221 
2014-11-05 08:02    1.2788601016214594  971.1773777485712 
2014-11-05 08:03    1.2787234324253685  971.2811766061762 
2014-11-05 08:04    1.2786275370664746  971.3540213982033 
2014-11-05 08:05    1.2786632282014252  971.3269081390605""" 
 
#for testing use io.StringIO(temp1) 
df = pd.read_csv(io.StringIO(temp1), sep="\t", header=None) 
#insteed io.StringIO(temp1) use file 
#df = pd.read_csv('spectrum.csv', sep="\t", header=None) 
print df1 
 
#you can remove columns, where are NaN values 
df = df.dropna(axis=1, how='any') 
print df 
#merge by first column - by dates 
result = pd.merge(df, df1, on=0) 
#fill NaN values by empty string 
result = result.fillna('') 
print result 
print result.to_csv(header=False, index=False)