Skip to main content
 首页 » 编程设计

python之优化 Pandas 计算

2025年02月15日7kevingrace

我在名为 sale_transactions 的数据库表中有 2200 万行的特性销售数据。我正在执行一项工作,我从该表中读取信息,执行一些计算,并使用结果为新表创建条目。该过程如下所示:

for index, row in zipcodes.iterrows(): # ~100k zipcodes 
    sql_string = """SELECT * from sale_transactions WHERE zipcode = '{ZIPCODE}' """ 
    sql_query = sql_string.format(ZIPCODE=row['zipcode'])          
    df = pd.read_sql(sql_query, _engine) 
    area_stat = create_area_stats(df) # function does calculations 
    area_stat.save() # saves a Django model 

目前,在我的 macbook pro(16GB RAM)上,此循环的每次迭代大约需要 20 秒,这意味着代码将需要数周才能完成。昂贵的部分是 read_sql 行。

我该如何优化它?我无法将整个 sale_transactions 表读入内存,它大约有 5 GB,因此每次都使用 sql 查询来使用 WHERE 子句捕获相关行。

大多数关于优化 pandas 的答案都谈到了分块读取,但在这种情况下,我需要对所有合并的数据执行 WHERE,因为我在 create_area_stats 函数中执行计算,例如销售额超过十年的时间。我无法轻松访问带有大量 RAM 的机器,除非我开始使用 EC2,我担心这会很昂贵并且很麻烦。

建议将不胜感激。

请您参考如下方法:

我也遇到过类似的问题,下面的代码帮助我有效地读取数据库(约 4000 万行)。

offsetID = 0 
totalrow = 0 
 
 
 
while (True): 
 
    df_Batch=pd.read_sql_query('set work_mem="1024MB"; SELECT * FROM '+tableName+' WHERE row_number > '+ str(offsetID) +' ORDER BY row_number LIMIT 100000' ,con=engine) 
    offsetID = offsetID + len(df_Batch) 
 
    #your operation 
 
    totalrow = totalrow + len(df_Batch)  

您必须在表中创建一个名为 row_number 的索引。所以这段代码将按索引读取您的表(100 000 行)。例如,当你想读取 200 000 - 210 000 行时,你不需要从 0 到 210 000 读取。它将直接按索引读取。所以它会提高你的表现。