我有一个很大的记录表,大约有 400 万行。我需要添加一个索引,该索引根据订单 ID(升序)按电子邮件地址计算订单。
import pandas as pd
df = pd.read_csv('orders.csv', sep=";")
df.dtypes
orderId int64
transactionDate object
revenue float64
email object
category object
rank = df2.groupby("email").orderId.rank(method='first')
当我尝试设置一个名为 rank 的变量时,程序运行了 90 分钟并占用了大约 5.5 GB 的 RAM,但从未返回数据。我只是想添加一个列,以便对于每封电子邮件(我的 customerID),我都可以根据 orderId 获得订单排名。因此,如果我有 3 个订单,我的第一个订单将具有最低的 orderID,等等……每封电子邮件的排名都会重新开始。
感谢您的帮助。
杰夫
请您参考如下方法:
通常在大内存情况下,您会将数据分块并连续运行每个 block 。有很多这样做的好建议:
