我正在对 DataFrame 的列进行算术运算。当我操作的 (sub-)DataFrame 的大小超过阈值时,我得到一个 ValueError 异常。
例如,考虑DataFrame:
import numpy as np
import pandas as pd
random_list = list(np.random.randint(1, 30, 10000))
df = pd.DataFrame({"p": random_list, "q": random_list})
此操作有效:
df[0:5000] // [2, 10]
但是这个失败了:
df[0:5001] // [2, 10]
异常(exception)情况:
ValueError: operands could not be broadcast together with shapes (10002,) (2,)
一旦切片生成len大于5000的DataFrame,就会抛出异常。阈值取决于列数。考虑从字典生成的 DataFrame:
{"p": random_list, "q": random_list, "r": random_list}
和一个长度为 3 的 floor 划分列表,对于任何长度大于 3334 的切片,上述操作将失败。
发生了什么事?
请您参考如下方法:
更深层次的情况超出了我的理解范围,但我可以告诉您错误发生的原因。
在pandas\core\computation\expressions.py第31行,声明了如下常量:
_MIN_ELEMENTS = 10000。
如果您尝试执行的操作超过了要评估的元素数量,它将尝试使用 numexpr 模块来加速计算。虽然在 numexpr 中支持 floor division operator,但问题是表达式被制作成要在表达式中使用的 VariableNode,不支持 floor division .请记住,例如支持 addition 运算符。
它源于以下几行:
if sys.version_info[0] < 3:
__div__ = div_op
__rdiv__ = binop('div', reversed=True)
在 numexpr/expressions.py 中。有趣的是,__div__ 和 __rdiv__ 从未为 sys.version_info[0] >= 3 定义。如果您添加行以手动实现这些,您的问题就解决了。换句话说:它是 numexpr 模块中的错误。
当然,您也可以声明 _MIN_ELEMENTS = 20000 或类似内容,以在遇到相同错误之前扩大限制。
请注意:您真的要小心编辑这些核心模块的部分,因为摆弄它们会破坏很多东西。
