Skip to main content
 首页 » 编程设计

Python:在 pandas GroupBy 对象上有效地使用 apply

2025年04月02日35unruledboy

我正在尝试执行一个概念上很简单的任务,但我的代码似乎太昂贵了。我正在寻找一种更快的方法,可能会利用 pandas 的 GroupBy 对象内置函数。

起点是一个名为 prices 的 DataFrame,其列为 [['item', 'store', 'day', 'price']],其中每个观察值都是特定于商品的最新价格更新-店铺组合。问题在于某些价格更新与同一商品-商店组合的最后一次价格更新相同。例如,让我们看一个特定的片段:

       day  item_id  store_id  price 
35083   34    85376       211   5.95 
56157   41    85376       211   6.00 
63628   50    85376       211   5.95 
64955   51    85376       211   6.00 
66386   56    85376       211   6.00 
69477   69    85376       211   5.95 

在此示例中,我希望删除天数等于 56 的观察值(因为价格与该组中的最后一个观察值相同)。我的代码是:

def removeSameLast(df): 
 
    shp = df.shape[0] 
    lead = df['price'][1:shp] 
    lag = df['price'][:shp-1] 
    diff = np.array(lead != lag) 
 
    boo = np.array(1) 
    boo = np.append(boo,diff) 
    boo = boo.astype(bool) 
 
    df = df.loc[boo] 
 
    return df 
 
gCell = prices.groupby(['item_id', 'store_id']) 
prices = gCell.apply(removeSameLast) 

这可以完成工作,但是丑陋且缓慢。很抱歉成为菜鸟,但我认为这可以更快地完成。有人可以提出解决方案吗?非常感谢。

请您参考如下方法:

我建议使用 shift 寻求一个简单的解决方案来自 Pandas 的功能。这将删除 groupby 的使用和您的函数调用。

想法是查看系列 [5.95, 6, 5.95, 6, 6, 5.95] 等于移位后的那个,[nan, 5.95, 6, 5.95, 6, 6] 并删除(或不选择)发生这种情况的行。

>>> mask = ~np.isclose(prices['price'], prices['price'].shift()) 
>>> prices[mask] 
       day  item_id store_id    price 
35083   34    85376      211    5.95 
56157   41    85376      211    6.00 
63628   50    85376      211    5.95 
64955   51    85376      211    6.00 
69477   69    85376      211    5.95 

简单的基准测试:

%timeit prices = gCell.apply(removeSameLast) 
100 loops, best of 3: 4.46 ms per loop 
 
%timeit mask = df.price != df.price.shift() 
1000 loops, best of 3: 183 µs per loop