Skip to main content
 首页 » 编程设计

python之提高 Pandas 行 split 的效率

2024年11月24日9jpfss

我有一个数据框 (df),其中包含如下数据(仅提供一行):

df_raw_data = pd.DataFrame(data = {'checkin':datetime.date(2019, 01, 01), 'checkout':datetime.date(2019, 01, 05), 'booking_id':1234, 'tag':'A', 'rooms':2}, index = [0])

我想编写一个代码块,读取 df_raw_data 的每一行并创建一个新的 df_split_data,它按如下方式转换 df_raw_data 的每一行:

df_split_data = pd.DataFrame(data = {'date':[datetime.date(2019, 01, 01), datetime.date(2019, 01, 02), datetime.date(2019, 01, 03), datetime.date(2019, 01, 04)], 'checkin':[datetime.date(2019, 01, 01), datetime.date(2019, 01, 01), datetime.date(2019, 01, 01), datetime.date(2019, 01, 01)], 'checkout':[datetime.date(2019, 01, 05), datetime.date(2019, 01, 05), datetime.date(2019, 01, 05), datetime.date(2019, 01, 05)], 'booking_id':[1234, 1234, 1234, 1234], 'tag':['A', 'A', 'A', 'A'], 'rooms':[2, 2, 2, 2]}) 

基本上,每个预订都应拆分为天数 = (checkout-checkin),并将日期作为新列,其他列保持完全相同。

我试过使用下面的 for 循环来做到这一点

df_split_data = pd.DataFrame() 
for i in range(len(df_raw_data)): 
    df_1 = df_raw_data[i:i+1] 
    df_1.reset_index(inplace = True) 
    checkin_date = df_1['checkin'][0] 
    checkout_date = df_1['checkout'][0] 
    rooms = df_1['rooms'][0] 
    booking_id = df_1['booking_id'][0] 
    tag = df_1['tag'][0] 
    los = df_1['los'][0] 
    #los is a column which checkout - checkin in days 
    datelist = pd.date_range(checkin_date, periods=los).tolist() 
    datelist = [x.date() for x in datelist] 
    df_2 = pd.DataFrame(data = {'date':datelist}) 
    df_2['checkin'] = checkin_date 
    df_2['checkout'] = checkout_date 
    df_2['rooms'] = rooms 
    df_2['booking_id'] = booking_id 
    df_2['tag'] = tag 
    df_split_data =  df_split_data.append(df_2) 

这样做会给出正确的结果,但是当有超过 200 万个条目时需要很长时间才能执行。

有没有更有效的方法?

请您参考如下方法:

这是使用 index.repeat 的一种方法与 DataFrame.loc创建扩展的 DataFrame,然后使用 pandas.to_timedelta和 groupby.cumcount更新 date 列中的值:

df_split_data = df_raw_data.loc[ 
    df_raw_data.index.repeat( 
        (df_raw_data['checkout'] - df_raw_data['checkin']).dt.days + 1)] 
 
df_split_data['date'] = (pd.to_datetime(df_split_data['date']) +  
                         pd.to_timedelta(df_split_data.groupby(df_split_data.columns.tolist()).cumcount(), unit='d')) 

[输出]

      checkin    checkout  booking_id tag  rooms       date 
0  2019-01-01  2019-01-05        1234   A      2 2019-01-01 
0  2019-01-01  2019-01-05        1234   A      2 2019-01-02 
0  2019-01-01  2019-01-05        1234   A      2 2019-01-03 
0  2019-01-01  2019-01-05        1234   A      2 2019-01-04 
0  2019-01-01  2019-01-05        1234   A      2 2019-01-05