我有 2014 年 4 月至 9 月的 CSV 文件。每个文件包含以下 4 列,如下所示(我包含两行作为示例):
Date/Time Lat Lon Base
4/1/2014 21:00:03, 40.7531, -74.0039, B02512
4/1/2014 21:00:05, 40.7791, -73.9623, B02512
每个文件都有超过 500,000 行,所以我想修剪数据集。
为了修剪它,我决定只使用那些落在如下所示时间段内的行:
Weekdays - 6:00 to 21:00
Friday - 21:00 to 23:59
Saturday - 21:00 to 23:59 and 00:00 to 02:59
Sunday - 00:00 to 02:59
我可以使用 Pandas 检索每一行的星期几,但我无法考虑如何走得更远。我相信使用 if 会非常基础而且很慢。
我的代码用于检索文件中每一行四月的星期几,如下所示:
import numpy as np
import pandas as pd
df = pd.read_csv("../data/apr.csv", header='infer', delimiter=',')
for i in range(len(df['Date/Time'])):
day = pd.to_datetime(df.iloc[i][0]).dayofweek
print(day)
如果有人可以建议一种方式/库/方法来帮助我根据我提到的条件修剪我的数据集,我将不胜感激。
编辑:如果你想查看实际的数据集,你可以在这里找到它:Uber Trip Data 2014
请您参考如下方法:
我们可以做到以下几点:
- 首先将他的
Date/Time列转换为datetime类型 - 创建一个指示日期的
day列。 - 然后创造您所说的我们的条件
- 使用
bool 索引来选择我们想要的行
df = pd.read_csv("../data/apr.csv", header='infer', delimiter=',')
# Convert to datetime
df['Date/Time'] = pd.to_datetime(df['Date/Time'])
# Create a day of the week column
df['Day'] = df['Date/Time'].dt.day
weekdays = [0,1,2,3]
# Define conditions
m1 = (df['Day'].isin(weekdays)) & df['Date/Time'].dt.strftime('%H:%M:%S').between('06:00:00', '21:00:00')
m2 = df['Day'].eq(4) & df['Date/Time'].dt.strftime('%H:%M:%S').between('21:00:00', '23:59:00')
m3 = df['Day'].eq(5) & (df['Date/Time'].dt.strftime('%H:%M:%S').between('21:00:00', '23:59:00') | df['Date/Time'].dt.strftime('%H:%M:%S').between('00:00:00', '02:59:00'))
m4 = df['Day'].eq(6) & df['Date/Time'].dt.strftime('%H:%M:%S').between('00:00:00', '02:59:00')
df[m1|m2|m3|m4]
