我已经一个接一个地扩展了我的数据文件,但现在我需要将我的 data_lv1_%Y%m%d.csv 文件中的两行与我的 spektrum_% 中的两列进行交换Y%m%d.csv 文件。
所以我的文件夹中包含 data_lv1_%Y%m%d.csv 和 spektrum_%Y%m%d.csv 我需要找到匹配的 ' data_lvl1....' 和 'spektrum.....' 文件从 spektrum 文件中获取 'columns 2 and 3' 并将其粘贴到 columns and 42 and 43 来自 data_lv1_%Y%m%d.csv 文件 ... 文件中每一行的时间戳都相同 %Y-%m-%d %H:%M
所以 data_lv1_%Y%m%d.csv 看起来像这样:
2014-11-05 08:00 0.19 0.16 0.00 0.16 9 14.0 14.1 14.0 69 8.4 0.0 SSE 0.00 0.4 SSE 14.0 13.6 13.6 14.7 1002.7 0.00 0.0 111 0.16 111 0.0 0.00 0.0 0.003 0.000 25.5 42 11.6 25.1 0.03 17 1 73.9 1 1.264390582977165 982.2914032430997
2014-11-05 08:01 0.19 0.15 0.00 0.15 9 14.1 14.1 14.1 69 8.5 0.4 SSE 0.03 1.8 SSE 14.1 13.6 13.6 14.9 1002.7 0.00 0.0 116 0.17 116 0.0 0.00 0.0 0.003 0.000 25.5 42 11.6 25.1 0.00 9 1 39.1 1 1.2642303482739734 982.4159036331284 47 40 62 65
2014-11-05 08:02 0.18 0.15 0.00 0.15 9 14.1 14.1 14.1 69 8.5 0.0 SSW 0.00 0.4 SSW 14.1 13.7 13.7 15.0 1002.9 0.00 0.0 118 0.17 118 0.0 0.00 0.0 0.003 0.000 25.6 42 11.7 25.2 0.00 16 1 69.6 1 1.2643326687934051 982.3363982086155
2014-11-05 08:03 0.18 0.14 0.00 0.14 9 14.1 14.2 14.1 69 8.5 0.0 SSW 0.00 0.9 SSW 14.1 13.7 13.7 15.1 1002.7 0.00 0.0 121 0.17 121 0.0 0.00 0.0 0.003 0.000 25.6 42 11.7 25.2 0.00 11 1 47.8 1 1.264371779179926 982.3060119275706
2014-11-05 08:04 0.18 0.14 0.00 0.14 9 14.2 14.2 14.2 69 8.6 0.4 S 0.03 1.3 S 14.2 13.7 13.7 15.1 1002.7 0.00 0.0 121 0.17 121 0.0 0.00 0.0 0.003 0.000 25.7 42 11.8 25.3 0.00 9 1 39.1 1 1.2642078834510273 982.4333610462828
2014-11-05 08:05 0.16 0.13 0.00 0.13 9 14.2 14.2 14.2 69 8.6 0.4 S 0.03 2.2 S 14.2 13.8 13.8 15.3 1002.8 0.00 0.0 125 0.18 125 0.0 0.00 0.0 0.003 0.000 25.7 42 11.8 25.3 0.00 18 1 78.3 1 1.2641495894315147 982.4786642208419
2014-11-05 08:06 0.16 0.13 0.00 0.13 9 14.3 14.3 14.2 69 8.7 3.1 S 0.19 6.3 SSW 13.6 13.8 13.1 14.7 1002.8 0.00 0.0 128 0.18 128 0.0 0.00 0.0 0.003 0.000 25.8 42 11.9 25.4 0.00 11 1 47.8 1 1.2641310901311893 982.4930418182402
2014-11-05 08:07 0.16 0.13 0.00 0.13 9 14.3 14.3 14.3 69 8.7 0.4 SSE 0.03 1.3 S 14.3 13.8 13.8 15.4 1002.7 0.00 0.0 128 0.18 128 0.0 0.00 0.0 0.003 0.000 25.8 42 11.9 25.4 0.00 9 1 39.1 1 1.2640878249125196 982.5266690516158
2014-11-05 08:08 0.15 0.12 0.00 0.12 9 14.3 14.3 14.3 69 8.7 0.0 SSW 0.00 0.4 SSW 14.3 13.9 13.9 15.5 1002.8 0.00 0.0 128 0.18 128 0.0 0.00 0.0 0.003 0.000 25.9 42 12.0 25.6 0.00 10 1 43.5 1 1.2640420201364455 982.5622726259796
2014-11-05 08:09 0.15 0.12 0.00 0.12 9 14.3 14.3 14.3 69 8.7 0.9 S 0.05 2.7 S 14.3 13.9 13.9 15.6 1002.7 0.00 0.0 137 0.20 137 0.0 0.00 0.0 0.003 0.000 25.9 42 12.0 25.6 0.00 13 1 56.5 1 1.2640722442946564 982.5387794136938
2014-11-05 08:10 0.15 0.12 0.00 0.12 9 14.3 14.3 14.3 68 8.5 0.4 S 0.03 1.8 S 14.3 13.8 13.8 15.6 1002.7 0.00 0.0 137 0.20 137 0.0 0.00 0.0 0.003 0.000 26.0 42 12.1 25.7 0.00 14 1 60.9 1 1.263973775777945 982.6153230398941
2014-11-05 08:11 0.16 0.12 0.00 0.12 9 14.3 14.4 14.3 68 8.5 0.4 SSE 0.03 1.8 S 14.3 13.8 13.8 15.6 1002.7 0.00 0.0 137 0.20 137 0.0 0.00 0.0 0.003 0.000 26.1 41 11.8 25.7 0.00 12 1 52.2 1 1.2639454425247079 982.6373498520063
2014-11-05 08:12 0.15 0.12 0.00 0.12 9 14.3 14.3 14.3 68 8.5 0.4 SSE 0.03 0.9 SSE 14.3 13.8 13.8 15.6 1002.9 0.00 0.0 137 0.20 137 0.0 0.00 0.0 0.003 0.000 26.2 41 11.9 25.8 0.00 10 1 43.5 1 1.2639898014116238 982.6028648434778
2014-11-05 08:13 0.15 0.12 0.00 0.12 9 14.4 14.4 14.4 68 8.6 0.4 S 0.03 1.8 S 14.4 13.9 13.9 15.7 1002.8 0.00 0.0 137 0.20 137 0.0 0.00 0.0 0.003 0.000 26.3 41 12.0 25.8 0.00 10 1 43.5 1 1.263874621956528 982.6924114334497
2014-11-05 08:14 0.15 0.12 0.00 0.12 9 14.4 14.4 14.4 68 8.6 0.0 SSE 0.00 0.4 S 14.4 13.9 13.9 15.7 1002.7 0.00 0.0 137 0.20 137 0.0 0.00 0.0 0.003 0.000 26.5 41 12.2 26.1 0.00 14 1 60.9 1 1.2638742617490812 982.6926915033389
2014-11-05 08:15 0.15 0.11 0.00 0.11 9 14.4 14.4 14.4 68 8.6 0.4 S 0.03 1.3 S 14.4 13.9 13.9 15.9 1002.7 0.00 0.0 156 0.22 156 0.0 0.00 0.0 0.003 0.000 26.7 41 12.4 26.2 0.00 23 1 100.0 1 1.2638991682523613 982.6733264785339
2014-11-05 08:16 0.15 0.11 0.00 0.11 9 14.4 14.4 14.4 68 8.6 0.0 S 0.00 1.8 S 14.4 13.9 13.9 16.0 1002.8 0.00 0.0 158 0.23 158 0.0 0.00 0.0 0.003 0.000 26.9 41 12.6 26.4 0.00 23 1 100.0 1 1.2639438134514795 982.6386163546646 60 49 88 82
2014-11-05 08:17 0.15 0.12 0.00 0.12 9 14.4 14.5 14.4 68 8.6 0.4 S 0.03 1.8 S 14.4 13.9 13.9 16.1 1002.6 0.00 0.0 160 0.23 160 0.0 0.00 0.0 0.003 0.000 27.1 41 12.7 26.6 0.00 24 1 100.0 1 1.2637607975085479 982.780920605032
spektrum_%Y%m%d.csv 文件如下所示:
2014-11-05 06:54 1.2821175173539188 968.709953018414
2014-11-05 06:55 1.2816088505861456 969.0944311378387
2014-11-05 06:56 1.2812624875214302 969.3564059637908
2014-11-05 06:57 1.2810378335850467 969.5264007341631
2014-11-05 06:58 1.280514458802534 969.9226677701473
2014-11-05 06:59 1.2804410978592646 969.9782380278693
2014-11-05 07:00 1.2799436634193884 970.3552081987569
2014-11-05 07:01 1.2793760789237318 970.7856981700221
2014-11-05 07:02 1.2788601016214594 971.1773777485712
2014-11-05 07:03 1.2787234324253685 971.2811766061762
2014-11-05 07:04 1.2786275370664746 971.3540213982033
2014-11-05 07:05 1.2786632282014252 971.3269081390605
如果我可以用 spektrum_ .... 文件中的列覆盖 data_lvl1.... 文件中的列,那就太好了,但我不介意如果来自 spektrum_%Y%m%d.csv 的数据只是附加在文件的末尾,只要它们不干扰“数据...”的最后一行每 15 分钟只有一个值的文件....
如果能在如何开始以及使用哪些模块方面提供一些帮助,我将不胜感激? Pandas 是这里的一个选择吗…… 最简单和最快的方法是简单地将 spektrum 文件 中的文件附加到 data_lvl1... 的末尾 感谢您的任何建议
编辑:抱歉,问题不明确...合并标准是,对于每个 data_lvl1_TIMESTAMP 文件,文件夹中都有一个 spektrum_TIMESTAMP 文件。时间戳为 %Y%m%d。这两个文件每分钟都有行,我想合并数据行。 spektrum 文件有更多的行(范围从 00:00 到 23:59),data_lvl1 有更少的行。因此,spektrum 文件 中与 data_lvl1 文件中的时间戳匹配的行应添加到 data_lvl1 文件中。 通过覆盖现有的第 43 和 42 列或将其添加到文件末尾。
请您参考如下方法:
您可以使用合并,如果您想要删除带有 NaN 的列,请使用函数 dropna。
也许你不能先读取csv,因为错误:
pandas.parser.CParserError: Error tokenizing data. C error: Expected 42 fields in line 2, saw 46
列数有问题。 Pandas 默认情况下根据第一行数据(可以是标题)确定列数。所以在你的解决方案中,它推荐了 42 列,但在第二行是 46 列。
一种解决方案是将制表符添加到第一行。如果您想删除所有具有 NaN 值的列,您可以添加相同数量或更多的制表符,因为函数 dropna 会删除它们。
下一个解决方案是定义 46 列的所有名称。 link
我使用第一种方法来添加制表符。
import pandas as pd
import numpy as np
import io
temp=u"""2014-11-05 08:00 0.19 0.16 0.00 0.16 9 14.0 14.1 14.0 69 8.4 0.0 SSE 0.00 0.4 SSE 14.0 13.6 13.6 14.7 1002.7 0.00 0.0 111 0.16 111 0.0 0.00 0.0 0.003 0.000 25.5 42 11.6 25.1 0.03 17 1 73.9 1 1.264390582977165 982.2914032430997
2014-11-05 08:01 0.19 0.15 0.00 0.15 9 14.1 14.1 14.1 69 8.5 0.4 SSE 0.03 1.8 SSE 14.1 13.6 13.6 14.9 1002.7 0.00 0.0 116 0.17 116 0.0 0.00 0.0 0.003 0.000 25.5 42 11.6 25.1 0.00 9 1 39.1 1 1.2642303482739734 982.4159036331284 47 40 62 65
2014-11-05 08:02 0.18 0.15 0.00 0.15 9 14.1 14.1 14.1 69 8.5 0.0 SSW 0.00 0.4 SSW 14.1 13.7 13.7 15.0 1002.9 0.00 0.0 118 0.17 118 0.0 0.00 0.0 0.003 0.000 25.6 42 11.7 25.2 0.00 16 1 69.6 1 1.2643326687934051 982.3363982086155
2014-11-05 08:03 0.18 0.14 0.00 0.14 9 14.1 14.2 14.1 69 8.5 0.0 SSW 0.00 0.9 SSW 14.1 13.7 13.7 15.1 1002.7 0.00 0.0 121 0.17 121 0.0 0.00 0.0 0.003 0.000 25.6 42 11.7 25.2 0.00 11 1 47.8 1 1.264371779179926 982.3060119275706
2014-11-05 08:04 0.18 0.14 0.00 0.14 9 14.2 14.2 14.2 69 8.6 0.4 S 0.03 1.3 S 14.2 13.7 13.7 15.1 1002.7 0.00 0.0 121 0.17 121 0.0 0.00 0.0 0.003 0.000 25.7 42 11.8 25.3 0.00 9 1 39.1 1 1.2642078834510273 982.4333610462828
2014-11-05 08:05 0.16 0.13 0.00 0.13 9 14.2 14.2 14.2 69 8.6 0.4 S 0.03 2.2 S 14.2 13.8 13.8 15.3 1002.8 0.00 0.0 125 0.18 125 0.0 0.00 0.0 0.003 0.000 25.7 42 11.8 25.3 0.00 18 1 78.3 1 1.2641495894315147 982.4786642208419
2014-11-05 08:06 0.16 0.13 0.00 0.13 9 14.3 14.3 14.2 69 8.7 3.1 S 0.19 6.3 SSW 13.6 13.8 13.1 14.7 1002.8 0.00 0.0 128 0.18 128 0.0 0.00 0.0 0.003 0.000 25.8 42 11.9 25.4 0.00 11 1 47.8 1 1.2641310901311893 982.4930418182402
2014-11-05 08:07 0.16 0.13 0.00 0.13 9 14.3 14.3 14.3 69 8.7 0.4 SSE 0.03 1.3 S 14.3 13.8 13.8 15.4 1002.7 0.00 0.0 128 0.18 128 0.0 0.00 0.0 0.003 0.000 25.8 42 11.9 25.4 0.00 9 1 39.1 1 1.2640878249125196 982.5266690516158
2014-11-05 08:08 0.15 0.12 0.00 0.12 9 14.3 14.3 14.3 69 8.7 0.0 SSW 0.00 0.4 SSW 14.3 13.9 13.9 15.5 1002.8 0.00 0.0 128 0.18 128 0.0 0.00 0.0 0.003 0.000 25.9 42 12.0 25.6 0.00 10 1 43.5 1 1.2640420201364455 982.5622726259796
2014-11-05 08:09 0.15 0.12 0.00 0.12 9 14.3 14.3 14.3 69 8.7 0.9 S 0.05 2.7 S 14.3 13.9 13.9 15.6 1002.7 0.00 0.0 137 0.20 137 0.0 0.00 0.0 0.003 0.000 25.9 42 12.0 25.6 0.00 13 1 56.5 1 1.2640722442946564 982.5387794136938
2014-11-05 08:10 0.15 0.12 0.00 0.12 9 14.3 14.3 14.3 68 8.5 0.4 S 0.03 1.8 S 14.3 13.8 13.8 15.6 1002.7 0.00 0.0 137 0.20 137 0.0 0.00 0.0 0.003 0.000 26.0 42 12.1 25.7 0.00 14 1 60.9 1 1.263973775777945 982.6153230398941
2014-11-05 08:11 0.16 0.12 0.00 0.12 9 14.3 14.4 14.3 68 8.5 0.4 SSE 0.03 1.8 S 14.3 13.8 13.8 15.6 1002.7 0.00 0.0 137 0.20 137 0.0 0.00 0.0 0.003 0.000 26.1 41 11.8 25.7 0.00 12 1 52.2 1 1.2639454425247079 982.6373498520063
2014-11-05 08:12 0.15 0.12 0.00 0.12 9 14.3 14.3 14.3 68 8.5 0.4 SSE 0.03 0.9 SSE 14.3 13.8 13.8 15.6 1002.9 0.00 0.0 137 0.20 137 0.0 0.00 0.0 0.003 0.000 26.2 41 11.9 25.8 0.00 10 1 43.5 1 1.2639898014116238 982.6028648434778
2014-11-05 08:13 0.15 0.12 0.00 0.12 9 14.4 14.4 14.4 68 8.6 0.4 S 0.03 1.8 S 14.4 13.9 13.9 15.7 1002.8 0.00 0.0 137 0.20 137 0.0 0.00 0.0 0.003 0.000 26.3 41 12.0 25.8 0.00 10 1 43.5 1 1.263874621956528 982.6924114334497
2014-11-05 08:14 0.15 0.12 0.00 0.12 9 14.4 14.4 14.4 68 8.6 0.0 SSE 0.00 0.4 S 14.4 13.9 13.9 15.7 1002.7 0.00 0.0 137 0.20 137 0.0 0.00 0.0 0.003 0.000 26.5 41 12.2 26.1 0.00 14 1 60.9 1 1.2638742617490812 982.6926915033389
2014-11-05 08:15 0.15 0.11 0.00 0.11 9 14.4 14.4 14.4 68 8.6 0.4 S 0.03 1.3 S 14.4 13.9 13.9 15.9 1002.7 0.00 0.0 156 0.22 156 0.0 0.00 0.0 0.003 0.000 26.7 41 12.4 26.2 0.00 23 1 100.0 1 1.2638991682523613 982.6733264785339
2014-11-05 08:16 0.15 0.11 0.00 0.11 9 14.4 14.4 14.4 68 8.6 0.0 S 0.00 1.8 S 14.4 13.9 13.9 16.0 1002.8 0.00 0.0 158 0.23 158 0.0 0.00 0.0 0.003 0.000 26.9 41 12.6 26.4 0.00 23 1 100.0 1 1.2639438134514795 982.6386163546646 60 49 88 82
2014-11-05 08:17 0.15 0.12 0.00 0.12 9 14.4 14.5 14.4 68 8.6 0.4 S 0.03 1.8 S 14.4 13.9 13.9 16.1 1002.6 0.00 0.0 160 0.23 160 0.0 0.00 0.0 0.003 0.000 27.1 41 12.7 26.6 0.00 24 1 100.0 1 1.2637607975085479 982.780920605032"""
#for testing use io.StringIO(temp)
df = pd.read_csv(io.StringIO(temp), sep="\t", header=None)
#insteed io.StringIO(temp) use file
#df = pd.read_csv('data.csv', sep="\t", header=None)
print df
temp1=u"""2014-11-05 06:54 1.2821175173539188 968.709953018414
2014-11-05 07:55 1.2816088505861456 969.0944311378387
2014-11-05 07:56 1.2812624875214302 969.3564059637908
2014-11-05 07:57 1.2810378335850467 969.5264007341631
2014-11-05 07:58 1.280514458802534 969.9226677701473
2014-11-05 07:59 1.2804410978592646 969.9782380278693
2014-11-05 08:00 1.2799436634193884 970.3552081987569
2014-11-05 08:01 1.2793760789237318 970.7856981700221
2014-11-05 08:02 1.2788601016214594 971.1773777485712
2014-11-05 08:03 1.2787234324253685 971.2811766061762
2014-11-05 08:04 1.2786275370664746 971.3540213982033
2014-11-05 08:05 1.2786632282014252 971.3269081390605"""
#for testing use io.StringIO(temp1)
df = pd.read_csv(io.StringIO(temp1), sep="\t", header=None)
#insteed io.StringIO(temp1) use file
#df = pd.read_csv('spectrum.csv', sep="\t", header=None)
print df1
#you can remove columns, where are NaN values
df = df.dropna(axis=1, how='any')
print df
#merge by first column - by dates
result = pd.merge(df, df1, on=0)
#fill NaN values by empty string
result = result.fillna('')
print result
print result.to_csv(header=False, index=False)
