Skip to main content
 首页 » 编程设计

python之对 Pandas 数据框的每一列进行多次探索性测试

2024年12月31日10cyq1162

有没有一种更简洁的方法可以在 table 上进行这些类型的测试,例如无效性、唯一值等,并将结果放入新的数据框。这段代码对我有用,但我相信还有更好的方法。

输入:

lvl1 = ['A','A','A','A','A','B','B','B','B',np.nan ] 
lvl2 = ['foo','foo','bar','bar','bar','foo','foo','foo','bar','bar'] 
df = pd.DataFrame({ 'L1' : lvl1, 'L2' : lvl2}) 
 
 
df.apply(lambda x: [ 100*(1-x.count()/len(x.index)),x.dtype,x.unique()],result_type='expand').T.rename(index=str, columns={0: "Nullity %", 1: "Type",2:"Unique Values"}) 

输出

    Nullity %   Type    Unique Values 
L1  10          object  [A, B, nan] 
L2  0           object  [foo, bar] 

将来我想扩展它以包括对列的其他测试,并想知道在 pandas 中执行此操作的正确方法是什么

UPD:附加问题:如何将每个唯一值的计数添加到该测试中?

请您参考如下方法:

一个想法是使用字典来定义列名和关联的函数:

d = {'Nullity %': lambda x: 100*(1-x.count()/len(x.index)), 
     'Type': lambda x: x.dtype, 
     'Unique Values': lambda x: x.unique()} 
 
res = pd.DataFrame([{name: func(df[col]) for name, func in d.items()} for col in df], 
                   index=df.columns) 
 
print(res) 
 
    Nullity %    Type Unique Values 
L1       10.0  object   [A, B, nan] 
L2        0.0  object    [foo, bar] 

要获得更实用的解决方案,您可以使用 operator 模块:

from operator import attrgetter, methodcaller 
 
d = {'Nullity %': lambda x: 100*(1-x.count()/len(x.index)), 
     'Type': attrgetter('dtype'), 
     'Unique Values': methodcaller('unique')}