Skip to main content
 首页 » 编程设计

python之如何重载 `__eq__` 以比较 pandas DataFrames 和 Series

2024年10月24日16shangdawei

为清楚起见,我将从我的代码中摘录并使用通用名称。我有一个类 Foo() 将 DataFrame 存储到一个属性。

import pandas as pd 
import pandas.util.testing as pdt 
 
class Foo(): 
 
    def __init__(self, bar): 
        self.bar = bar                                     # dict of dicts 
        self.df = pd.DataFrame(bar)                        # pandas object      
 
    def __eq__(self, other): 
        if isinstance(other, self.__class__): 
            return self.__dict__ == other.__dict__ 
        return NotImplemented 
 
    def __ne__(self, other): 
        result = self.__eq__(other) 
        if result is NotImplemented: 
            return result 
        return not result 

但是,当我尝试比较 Foo 的两个实例时,我得到一个与比较两个 DataFrame 的歧义相关的异常(如果 中没有 'df' 键,比较应该可以正常工作Foo.__dict__).

d1 = {'A' : pd.Series([1, 2], index=['a', 'b']), 
      'B' : pd.Series([1, 2], index=['a', 'b'])} 
d2 = d1.copy() 
 
foo1 = Foo(d1) 
foo2 = Foo(d2) 
 
foo1.bar                                                   # dict 
foo1.df                                                    # pandas DataFrame 
 
foo1 == foo2                                               # ValueError  
 
[Out] ValueError: The truth value of a DataFrame is ambiguous. Use a.empty, a.bool(), a.item(), a.any() or a.all(). 

幸运的是,pandas 具有用于断言两个 DataFrame 或 Series 是否为真的实用函数。如果可能,我想使用这个函数的比较操作。

pdt.assert_frame_equal(pd.DataFrame(d1), pd.DataFrame(d2)) # no raises 

有几个选项可以解决两个 Foo 实例的比较:

  1. 比较 __dict__ 的副本,其中 new_dict 缺少 df 键
  2. 从 __dict__ 中删除 df 键(不理想)
  3. 不比较__dict__,只比较它的一部分包含在一个元组中
  4. 重载 __eq__ 以促进 pandas DataFrame 比较

从长远来看,最后一个选项似乎是最稳健的,但我不确定最佳方法。最后,我想重构 __eq__ 以比较 Foo.__dict__ 中的所有项目,包括 DataFrames(和 Series)。关于任何想法如何实现?

请您参考如下方法:

这些线程的解决方案

Comparing two pandas dataframes for differences

Pandas DataFrames with NaNs equality comparison

def df_equal(self): 
    try: 
        assert_frame_equal(csvdata, csvdata_old) 
        return True 
    except: 
        return False 

对于数据框字典:

def df_equal(df1, df2): 
    try: 
        assert_frame_equal(df1, df2) 
        return True 
    except: 
        return False 
 
def __eq__(self, other): 
    if self.df.keys() != other.keys(): 
        return False 
    for k in self.df.keys(): 
        if not df_equal(self.df[k], other[k]): 
            return False 
    return True