Skip to main content
 首页 » 编程设计

python之Dask中延迟函数和正常函数的区别

2025年01月19日10duanxz

我创建了一个 Aggregation 对象来模拟 pandas first 操作,它在 dask 数据帧上工作正常,但是当在延迟函数中使用时,它给出了一个 pandas 错误提示'Aggregation' 对象不可调用,而在这种情况下,仅使用 pandas 首先可行。在后来的检查中,我发现在添加 @delayed 装饰器时,我接收 Dask DataFrame 的操作函数正在接收一个普通的 pandas DataFrame。

很明显,我不明白 dask 和分布式如何与底层数据结构一起工作,我没有在 https://distributed.readthedocs.io/en/latest/manage-computation.html 中看到这种差异的解释。 .您能否解释一下这些差异的底层细节,或者指出一些文档?

请您参考如下方法:

dask.dataframe.Aggregation 对象仅适用于 dask 数据帧,不适用于任何其他类型的 dask 对象。

Dask delayed 通常对正常的内存数据进行操作。根本没有应用复杂性或自动化。使用 dask.delayed 时,设计自定义算法的所有工作都完全由您来完成。