我在名为 sale_transactions 的数据库表中有 2200 万行的特性销售数据。我正在执行一项工作,我从该表中读取信息,执行一些计算,并使用结果为新表创建条目。该过程如下所示:
for index, row in zipcodes.iterrows(): # ~100k zipcodes
sql_string = """SELECT * from sale_transactions WHERE zipcode = '{ZIPCODE}' """
sql_query = sql_string.format(ZIPCODE=row['zipcode'])
df = pd.read_sql(sql_query, _engine)
area_stat = create_area_stats(df) # function does calculations
area_stat.save() # saves a Django model
目前,在我的 macbook pro(16GB RAM)上,此循环的每次迭代大约需要 20 秒,这意味着代码将需要数周才能完成。昂贵的部分是 read_sql 行。
我该如何优化它?我无法将整个 sale_transactions 表读入内存,它大约有 5 GB,因此每次都使用 sql 查询来使用 WHERE 子句捕获相关行。
大多数关于优化 pandas 的答案都谈到了分块读取,但在这种情况下,我需要对所有合并的数据执行 WHERE,因为我在 create_area_stats 函数中执行计算,例如销售额超过十年的时间。我无法轻松访问带有大量 RAM 的机器,除非我开始使用 EC2,我担心这会很昂贵并且很麻烦。
建议将不胜感激。
请您参考如下方法:
我也遇到过类似的问题,下面的代码帮助我有效地读取数据库(约 4000 万行)。
offsetID = 0
totalrow = 0
while (True):
df_Batch=pd.read_sql_query('set work_mem="1024MB"; SELECT * FROM '+tableName+' WHERE row_number > '+ str(offsetID) +' ORDER BY row_number LIMIT 100000' ,con=engine)
offsetID = offsetID + len(df_Batch)
#your operation
totalrow = totalrow + len(df_Batch)
您必须在表中创建一个名为 row_number 的索引。所以这段代码将按索引读取您的表(100 000 行)。例如,当你想读取 200 000 - 210 000 行时,你不需要从 0 到 210 000 读取。它将直接按索引读取。所以它会提高你的表现。
