Skip to main content
 首页 » 编程设计

python之大型时间序列数据集上不同大小的 block

2024年11月01日13yyy_WW

我需要将大型数据集导入 pandas dataframe 以便进行一些数据操作。

我发现这样做的一个好方法是:

  • 使用分块加载并分块处理数据帧。分解任务,分别处理不同的部分,然后再将它们组合起来。

如果我定义我的 chuncksize 等于 1000:

pd.read_sql_query(sql=query, con=engine, chunksize=1000) 

循环的每次迭代都会将 1000 行读入数据帧。

但是,我的数据框有一个 DATE 列,我需要确保每个 block 都包含每个产品(SKU 列)的整个时间序列(DATE 列)。

  DATE     STORE   COD  SKU  UNITS_SOLD 
2018-02-01  HD01    CD  70  539.000 
2018-03-01  HD01    CD  70  511.000 
2018-04-01  HD01    CD  70  468.000 
2018-05-01  HD01    CD  70  447.000 
2018-06-01  HD01    CD  70  382.000 
2018-07-01  HD01    CD  70  348.000 
2018-02-01  HA01    CD  80  539.000 
2018-03-01  HA01    CD  80  511.000 
2018-04-01  HA01    CD  80  468.000 
2018-05-01  HA01    CD  80  447.000 
2018-06-01  HA01    CD  80  382.000 
2018-07-01  HA01    CD  80  348.000 

确保每个 block 都将返回整个产品历史记录的最佳方法是什么? 如果这 1000 行上有一个产品不完整,我想避免分成 2 个 block 。

请您参考如下方法:

您可能应该在发送的 SQL 中使用 groupby,这意味着您需要遍历 SKU 的所有可能值。如果您首先在服务器端设置一个以这种方式明确排序数据的 View ,则可以使用分块。