Skip to main content
 首页 » 编程设计

python之如何根据一周中不同日期的不同时间段修剪数据集

2024年11月24日10lhb25

我有 2014 年 4 月至 9 月的 CSV 文件。每个文件包含以下 4 列,如下所示(我包含两行作为示例):

Date/Time          Lat      Lon       Base 
 
4/1/2014 21:00:03, 40.7531, -74.0039, B02512 
4/1/2014 21:00:05, 40.7791, -73.9623, B02512 

每个文件都有超过 500,000 行,所以我想修剪数据集。

为了修剪它,我决定只使用那些落在如下所示时间段内的行:

Weekdays - 6:00 to 21:00 
Friday - 21:00 to 23:59 
Saturday - 21:00 to 23:59 and 00:00 to 02:59 
Sunday - 00:00 to 02:59 

我可以使用 Pandas 检索每一行的星期几,但我无法考虑如何走得更远。我相信使用 if 会非常基础而且很慢。

我的代码用于检索文件中每一行四月的星期几,如下所示:

import numpy as np  
import pandas as pd  
 
df = pd.read_csv("../data/apr.csv", header='infer', delimiter=',') 
for i in range(len(df['Date/Time'])): 
    day = pd.to_datetime(df.iloc[i][0]).dayofweek 
    print(day) 

如果有人可以建议一种方式/库/方法来帮助我根据我提到的条件修剪我的数据集,我将不胜感激。

编辑:如果你想查看实际的数据集,你可以在这里找到它:Uber Trip Data 2014

请您参考如下方法:

我们可以做到以下几点:

  1. 首先将他的 Date/Time 列转换为 datetime 类型
  2. 创建一个指示日期的 day 列。
  3. 然后创造您所说的我们的条件
  4. 使用 bool 索引来选择我们想要的行
df = pd.read_csv("../data/apr.csv", header='infer', delimiter=',') 
 
# Convert to datetime 
df['Date/Time'] = pd.to_datetime(df['Date/Time']) 
 
# Create a day of the week column 
df['Day'] = df['Date/Time'].dt.day 
 
weekdays = [0,1,2,3] 
 
# Define conditions 
m1 = (df['Day'].isin(weekdays)) & df['Date/Time'].dt.strftime('%H:%M:%S').between('06:00:00', '21:00:00') 
m2 = df['Day'].eq(4) & df['Date/Time'].dt.strftime('%H:%M:%S').between('21:00:00', '23:59:00') 
m3 = df['Day'].eq(5) & (df['Date/Time'].dt.strftime('%H:%M:%S').between('21:00:00', '23:59:00') | df['Date/Time'].dt.strftime('%H:%M:%S').between('00:00:00', '02:59:00')) 
m4 = df['Day'].eq(6) & df['Date/Time'].dt.strftime('%H:%M:%S').between('00:00:00', '02:59:00') 
 
df[m1|m2|m3|m4]