Skip to main content
 首页 » 编程设计

python之DataFrame 上的地板分割操作的 ValueError 异常

2025年01月19日14lovecherry

我正在对 DataFrame 的列进行算术运算。当我操作的 (sub-)DataFrame 的大小超过阈值时,我得到一个 ValueError 异常。

例如,考虑DataFrame:

import numpy as np 
import pandas as pd 
 
random_list = list(np.random.randint(1, 30, 10000)) 
df = pd.DataFrame({"p": random_list, "q": random_list}) 

此操作有效:

df[0:5000] // [2, 10]  

但是这个失败了:

df[0:5001] // [2, 10] 

异常(exception)情况:

ValueError: operands could not be broadcast together with shapes (10002,) (2,)  

一旦切片生成len大于5000的DataFrame,就会抛出异常。阈值取决于列数。考虑从字典生成的 DataFrame:

{"p": random_list, "q": random_list, "r": random_list} 

和一个长度为 3 的 floor 划分列表,对于任何长度大于 3334 的切片,上述操作将失败。

发生了什么事?

请您参考如下方法:

更深层次的情况超​​出了我的理解范围,但我可以告诉您错误发生的原因。

在pandas\core\computation\expressions.py第31行,声明了如下常量:

_MIN_ELEMENTS = 10000。

如果您尝试执行的操作超过了要评估的元素数量,它将尝试使用 numexpr 模块来加速计算。虽然在 numexpr 中支持 floor division operator,但问题是表达式被制作成要在表达式中使用的 VariableNode,不支持 floor division .请记住,例如支持 addition 运算符。

它源于以下几行:

if sys.version_info[0] < 3: 
    __div__ = div_op 
    __rdiv__ = binop('div', reversed=True) 

在 numexpr/expressions.py 中。有趣的是,__div__ 和 __rdiv__ 从未为 sys.version_info[0] >= 3 定义。如果您添加行以手动实现这些,您的问题就解决了。换句话说:它是 numexpr 模块中的错误。

当然,您也可以声明 _MIN_ELEMENTS = 20000 或类似内容,以在遇到相同错误之前扩大限制。

请注意:您真的要小心编辑这些核心模块的部分,因为摆弄它们会破坏很多东西。