Skip to main content
 首页 » 编程设计

python之Pandas之在不耗尽内存的情况下获取 Groupby 对象的排名

2025年05月04日21fff_TT

我有一个很大的记录表,大约有 400 万行。我需要添加一个索引,该索引根据订单 ID(升序)按电子邮件地址计算订单。

import pandas as pd 
df = pd.read_csv('orders.csv', sep=";") 
 
df.dtypes 
orderId                  int64 
transactionDate          object 
revenue                 float64 
email                    object 
category                 object 
 
rank = df2.groupby("email").orderId.rank(method='first') 

当我尝试设置一个名为 rank 的变量时,程序运行了 90 分钟并占用了大约 5.5 GB 的 RAM,但从未返回数据。我只是想添加一个列,以便对于每封电子邮件(我的 customerID),我都可以根据 orderId 获得订单排名。因此,如果我有 3 个订单,我的第一个订单将具有最低的 orderID,等等……每封电子邮件的排名都会重新开始。

感谢您的帮助。

杰夫

请您参考如下方法:

通常在大内存情况下,您会将数据分块并连续运行每个 block 。有很多这样做的好建议:

"Large data" work flows using pandas