Skip to main content
 首页 » 编程设计

python之使用两个数据帧之间的条件语句获取计数的 Pandas 矢量化方法

2024年11月24日6lyhabc

我有两个数据框(行不相等,但列相同),如下所示。

数据框A:

dummy | probability 
------------------- 
  0   |    .1 
------------------- 
  0   |    .2 

数据框 B:

dummy | probability 
-------------------   
  1   |    .05 
------------------- 
  1   |    .2 

我想做的是对成对元素实现矢量化条件检查。

我的实际数据集有几十万个元素。因此,如果我明智地检查元素,使用双 for 循环将需要至少 100000^2 次迭代,这是我根本不想要的。

我相信可能有一种方法可以使用我目前不知道的 numpy 和 pandas 来做到这一点。

伪代码应该是这样的:

def vectorized_counts(): 
 
    A = 0 
    B = 0 
    tie = 0 
 
    if element in dfA second column > element in dfB second column: 
        A += 1 
    elif element in dfA second column < element in dfB second column: 
        B += 1 
    else: 
        tie += 1 
 
    return list(A,B,tie) 

对于我上面的测试示例,我们有:

A 
.1 > .05 
.2 > .05 
 
B 
.1 < .2 
 
tie 
.2 = .2 

因此:

A = 2 
B = 1 
tie = 1 

我该怎么做?将数据帧的一个元素与另一个数据帧的相应元素进行比较非常简单。令我困惑的是如何将数据帧的每个元素与另一个数据帧的每个元素进行比较。

请您参考如下方法:

这是一个无迭代的函数,它(希望)能满足您的需求:

def compare_probabilities(A, B): 
    df = pd.concat([A] * B.shape[0], axis=0).reset_index(drop=True) 
    df['Ap'] = df.probability 
    df['Bp'] = B.probability.repeat(A.shape[0]).values 
    AgtB = (df.Ap > df.Bp).sum() 
    BgtA = (df.Ap < df.Bp).sum() 
    #AeqB = (df.Ap == df.Bp).sum() 
    AeqB = df.shape[0] - (AgtB + BgtA) 
    return AgtB, BgtA, AeqB 
 
A = pd.DataFrame({'dummy':[0,0], 'probability':[0.1,0.2]}) 
B = pd.DataFrame({'dummy':[1,1], 'probability':[0.05,0.2]}) 
print ("compare_probabilities: A>B is %d; B>A is %d;  A==B is %d"%compare_probabilities(A, B)) 

这应该显示:

compare_probabilities: A>B 为 2; B>A为1; A==B 为 1

它应该适用于 A 和 B 中不相等的行大小。