Skip to main content
 首页 » 编程设计

python之Pandas DataFrame 将数据从 BST/Clock 转换为 GMT/UTC,反之亦然

2024年11月24日7cyq1162

虽然这看起来很复杂,但我希望有人已经解决了类似的问题,因为它本质上是在处理夏令时。

我有一些记录温度的设备。一些探测器以 GMT/UTC 记录时间,而其他探测器以 BST/Clock 记录时间。

探测器每小时记录一次温度数据,因此对于记录 GMT/UTC 数据的探测器,数据有 24 列,其中第 0 列对应于一年中的每一天的 00:00,第 1 列对应于 01:00 等。

在英国,时钟在 3 月的最后一个星期日凌晨 1 点拨快 1 小时,在 10 月的最后一个星期日凌晨 2 点拨快 1 小时。

对于以 BST/Clock 时间记录数据的探测器,当时钟向前时,只有 23 小时的数据周期而不是正常的 24。当时钟返回时,有 25 小时的周期而不是 24。

问题分为 3 个部分。首先是我想以 GMT/UTC 格式标准化一个数据帧中的数据,所以在时钟前进的那一天,我有 23 个读数,我需要将第二天/行的第一列中的读数移动到列前一天的 24 日。然后我需要继续将所有列数据向左移动一个位置。我需要重复这个过程,将一行的第一列移动到前一行的最后一列,然后将行中的所有其他列移动到一个位置,直到并包括 10 月的最后一个星期日,那里有 25 个读数。这是我要实现的目标的示例:

# BST/Clock Data Format  
bst = [{0:9, 1:6, 2:7, 3:4, 22:2, 23:1}, 
        {0:10, 1:12, 2:9, 3:8, 22:16}, 
        {0:11, 1:9, 2:8, 3:12, 22:15, 23:16},  
        {0:1, 1:6, 2:5, 3:7, 22:6, 23:8, 24:9}, 
        {0:2, 1:2, 2:4, 3:4, 22:3, 23:2}]  
 
 
# Create BST/Clock df 
df_bst = pd.DataFrame(bst, index=['24/03/2018', '25/03/2018', '26/03/2018', '28/10/2018', '29/10/2018']) 
df_bst.index = pd.to_datetime(df_bst.index, dayfirst=True) 
 
 
# Format of what GMT/UTC data should look like 
gmt = [{0:9, 1:6, 2:7, 3:4, 22:2, 23:1}, 
        {0:10, 1:12, 2:9, 3:8, 22:16, 23:11}, 
        {0:9, 1:8, 2:12, 3:15, 22:16, 23:5},  
        {0:6, 1:5, 2:7, 3:6, 22:8, 23:9}, 
        {0:2, 1:2, 2:4, 3:4, 22:3, 23:2}]  
 
df_gmt = pd.DataFrame(gmt, index=['24/03/2018', '25/03/2018', '26/03/2018', '28/10/2018', '29/10/2018']) 
df_gmt.index = pd.to_datetime(df_gmt.index, dayfirst=True) 
 
print('Initial format') 
print(df_bst) 
print() 
print('What data should look like after translation with the last Sunday in Mar 2018 and Oct 2018 being 25/03/2018 and 28/10/2018 respectively') 
print(df_gmt) 

第二部分是我想为数据框中的数据计算 3 月和 10 月的最后一个星期日。我正在做类似的事情:

for month in (3, 10): 
    last_sunday = max([week[-1] for week in calendar.monthcalendar(2018, month)]) 
    x = datetime.datetime(2018, month, last_sunday) 
    print(x.strftime('%d/%m/%Y')) 

并使用 DatetimeIndex.year 提取年份,但有时它们的数据集跨越一年以上,因此我需要在 31/03/2018 - 28/10/2018 之间应用转换,然后再次在 31 之间应用转换/03/2019 - 今天。

问题的最后一部分是偶尔我想报告 14:00 BST/Clock - 18:00 BST/Clock 之间的平均温度。鉴于我的数据存储在 GMT/UTC 中,最好的方法是什么?

我尝试了不同的选项,包括本地化,但无济于事。

请您参考如下方法:

这是我尝试回答所有三个问题的尝试。也许您只需要一些逻辑并使用时区包,例如 ptyz,这有助于您了解时区是否到位,而不是尝试自己计算。具体来说,您可能会对两个时区感兴趣:

import pytz 
 
utc = pytz.utc #utc all year round 
btc = pytz.timezone('Europe/London') #utc with the time difference already there. 

根据一年中的时间(btc 与否),日期是否相同:

dt1 = datetime.datetime.strptime('2018-03-24','%Y-%m-%d') 
dt2 = datetime.datetime.strptime('2018-03-26','%Y-%m-%d') 
 
print ('Different:', utc.localize(dt1), btc.localize(dt1)) 
print ('Identical:', utc.localize(dt2), btc.localize(dt2)) 
 
[out]: 
Different: 2018-03-24 00:00:00+00:00 2018-03-24 00:00:00+00:00 
Identical: 2018-03-26 00:00:00+00:00 2018-03-26 00:00:00+01:00 
 

使用这两个时区,您可以比较两个时区下的日期是否相同,以确定 BTC 的开始和周期。例如:

import pytz 
import pandas as pd 
import datetime 
 
utc = pytz.utc 
btc = pytz.timezone('Europe/London') 
 
bst = [{0:9, 1:6, 2:7, 3:4, 22:2, 23:1}, 
        {0:10, 1:12, 2:9, 3:8, 22:16}, 
        {0:11, 1:9, 2:8, 3:12, 22:15, 23:16},  
        {0:1, 1:6, 2:5, 3:7, 22:6, 23:8, 24:9}, 
        {0:2, 1:2, 2:4, 3:4, 22:3, 23:2}] 
 
df = pd.DataFrame(bst) 
 
df['dates'] =  ['24/03/2018', '25/03/2018', '26/03/2018', '28/10/2018', '29/10/2018'] 
 
# date on utc 
df['dates_utc'] = df['dates'].apply(lambda x: utc.localize(datetime.datetime.strptime(x,'%d/%m/%Y'))) 
 
# date on Europe/London 
df['dates_wdtz'] = df['dates'].apply(lambda x: btc.localize(datetime.datetime.strptime(x,'%d/%m/%Y'))) 
 
# check if is a btc day 
df['is_btc'] = df['dates_utc'] > df['dates_wdtz'] 

然后我们可以为第一个 btc 日创建一个临时标志,因为这是唯一只修改最后一个小时的日子:

df['btc_starts'] = df['is_btc'].shift(-1) 
df['btc_first_day'] = (df['is_btc']==False) & (df['btc_starts'] == True) 

并修改特定日期:

ix_first_day = df[df['btc_first_day']==True].index 
df.loc[ix_first_day, 23] = int(df.loc[ix_first_day+1, 0]) 

对于所有其他日期,我们可以简单地将 -1 逻辑应用于所有小时列:

btc_days = df[df['is_btc']==True].index 
 
for hour in range(0,25,1): 
    if hour == 24: 
        df.loc[btc_days, hour] = df.loc[btc_days + 1, hour] 
    else: 
        df.loc[btc_days, hour] = df.loc[btc_days, hour+1] 
 
## drop temporary columns 
df.drop(['dates_utc','dates_wdtz','is_btc','btc_starts','btc_first_day'], axis=1, inplace=True) 

这将为我们提供以下结果:

Out[15]:  
    0   1   2   3    22    23   24       dates 
0   9   6   7   4   2.0   1.0  NaN  24/03/2018 
1  10  12   9   8  16.0  11.0  NaN  25/03/2018 
2  12  12  12  12  16.0   NaN  NaN  26/03/2018 
3   7   7   7   7   8.0   9.0  9.0  28/10/2018 
4   2   2   4   4   3.0   2.0  NaN  29/10/2018 

注意 我没有使用日期作为索引,我假设您有所有日期的信息,因此索引 + 1 始终是下一个日期。如果不是这种情况,那么您将使用日期遍历索引,而不是添加 1,而是将 1 天添加到日期时间。

有了上面的: - 您可以自动了解日期是否在 btc 上 - 如果您获取日期并更改日期时间,则可以重新格式化日期,例如 mydate.astimezone(btc)。在 pytz docs 查看更多信息 - 您无需计算时区何时出现。