我需要将大型数据集导入 pandas dataframe 以便进行一些数据操作。
我发现这样做的一个好方法是:
- 使用分块加载并分块处理数据帧。分解任务,分别处理不同的部分,然后再将它们组合起来。
如果我定义我的 chuncksize 等于 1000:
pd.read_sql_query(sql=query, con=engine, chunksize=1000)
循环的每次迭代都会将 1000 行读入数据帧。
但是,我的数据框有一个 DATE 列,我需要确保每个 block 都包含每个产品(SKU 列)的整个时间序列(DATE 列)。
DATE STORE COD SKU UNITS_SOLD
2018-02-01 HD01 CD 70 539.000
2018-03-01 HD01 CD 70 511.000
2018-04-01 HD01 CD 70 468.000
2018-05-01 HD01 CD 70 447.000
2018-06-01 HD01 CD 70 382.000
2018-07-01 HD01 CD 70 348.000
2018-02-01 HA01 CD 80 539.000
2018-03-01 HA01 CD 80 511.000
2018-04-01 HA01 CD 80 468.000
2018-05-01 HA01 CD 80 447.000
2018-06-01 HA01 CD 80 382.000
2018-07-01 HA01 CD 80 348.000
确保每个 block 都将返回整个产品历史记录的最佳方法是什么? 如果这 1000 行上有一个产品不完整,我想避免分成 2 个 block 。
请您参考如下方法:
您可能应该在发送的 SQL 中使用 groupby,这意味着您需要遍历 SKU 的所有可能值。如果您首先在服务器端设置一个以这种方式明确排序数据的 View ,则可以使用分块。
