我正在尝试执行一个概念上很简单的任务,但我的代码似乎太昂贵了。我正在寻找一种更快的方法,可能会利用 pandas 的 GroupBy 对象内置函数。
起点是一个名为 prices 的 DataFrame,其列为 [['item', 'store', 'day', 'price']],其中每个观察值都是特定于商品的最新价格更新-店铺组合。问题在于某些价格更新与同一商品-商店组合的最后一次价格更新相同。例如,让我们看一个特定的片段:
day item_id store_id price
35083 34 85376 211 5.95
56157 41 85376 211 6.00
63628 50 85376 211 5.95
64955 51 85376 211 6.00
66386 56 85376 211 6.00
69477 69 85376 211 5.95
在此示例中,我希望删除天数等于 56 的观察值(因为价格与该组中的最后一个观察值相同)。我的代码是:
def removeSameLast(df):
shp = df.shape[0]
lead = df['price'][1:shp]
lag = df['price'][:shp-1]
diff = np.array(lead != lag)
boo = np.array(1)
boo = np.append(boo,diff)
boo = boo.astype(bool)
df = df.loc[boo]
return df
gCell = prices.groupby(['item_id', 'store_id'])
prices = gCell.apply(removeSameLast)
这可以完成工作,但是丑陋且缓慢。很抱歉成为菜鸟,但我认为这可以更快地完成。有人可以提出解决方案吗?非常感谢。
请您参考如下方法:
我建议使用 shift 寻求一个简单的解决方案来自 Pandas 的功能。这将删除 groupby 的使用和您的函数调用。
想法是查看系列 [5.95, 6, 5.95, 6, 6, 5.95] 等于移位后的那个,[nan, 5.95, 6, 5.95, 6, 6] 并删除(或不选择)发生这种情况的行。
>>> mask = ~np.isclose(prices['price'], prices['price'].shift())
>>> prices[mask]
day item_id store_id price
35083 34 85376 211 5.95
56157 41 85376 211 6.00
63628 50 85376 211 5.95
64955 51 85376 211 6.00
69477 69 85376 211 5.95
简单的基准测试:
%timeit prices = gCell.apply(removeSameLast)
100 loops, best of 3: 4.46 ms per loop
%timeit mask = df.price != df.price.shift()
1000 loops, best of 3: 183 µs per loop
