Skip to main content
 首页 » 编程设计

python之pd.concat(array).groupby ('date' .sum() 返回意外行为

2024年11月24日7cmt

我有 8 个相同长度的数据帧,其中一个“日期”列在所有数据帧中看起来都一样(尽管我没有将其用作索引)。

>>> _dataframes[0].tail(3) 
 
            date  trade_number 
4122  2019-07-15           678 
4123  2019-07-16           678 
4124  2019-07-17           678 

它们都以索引 4124 结束,日期为 2019-07-17 并且有一列 trade_number 的值是可变的,但它总是升序排列。

max = 0 
for df in _dataframes: 
    max += df ["trade_number"].max() 

这给出了 max = 4231,这与我打开计算器并手动对每个数据帧的最后几行求和时的结果一致。

然而...

>>> test = pd.concat(_dataframes).groupby("date", as_index=False).sum() 
>>> test.tail(10) 
 
            date  trade_number 
4115  2019-07-08          4218 
4116  2019-07-09          4219 
4117  2019-07-10          4221 
4118  2019-07-11          4223 
4119  2019-07-12          4224 
4120  2019-07-13          4224 
4121  2019-07-14          4224 
4122  2019-07-15          4230 
4123  2019-07-16          4230 
4124  2019-07-17          4512 # <--- WHY? 

怎么读到的最后一行是2019-07-17 4512。为什么不是 4231?

Here's pd.concat(_dataframes).to_clipboard() 产生的数据,以便您可以使用 pd.read_clipboard() 导入它。

请您参考如下方法:

让我们检查两件事

pd.concat(_dataframes).groupby("date", as_index=False).date.nunique() 

和

pd.concat(_dataframes).groupby("date", as_index=False).date.count() 

如果它们不相等,那么当你执行 groupby 时你将得到不同的输出

由于for循环,只会对最大值求和,不会对所有值求和。与输出匹配

pd.concat(_dataframes).sort_values('trade_number').drop_duplicates('date',keep='last').groupby('date')['trade_number'].sum()