Skip to main content
 首页 » 编程设计

python之为分类数据填充多个空值

2025年05月04日7unruledboy

我想知道是否有一种 pythonic 方法可以通过从唯一值的分布中随机选择来填充分类数据的空值。基本上根据列中值的现有分布按比例/随机填充分类空值...

-- 下面是我已经在做的一个例子

--为了节省时间,我使用数字作为类别,我不确定如何随机输入字母

import numpy as np 
import pandas as pd 
np.random.seed([1]) 
df = pd.DataFrame(np.random.normal(10, 2, 20).round().astype(object)) 
df.rename(columns = {0 :  'category'}, inplace = True) 
df.loc[::5] = np.nan 
print df 
 
   category 
0       NaN 
1        12 
2         4 
3         9 
4        12 
5       NaN 
6        10 
7        12 
8        13 
9         9 
10      NaN 
11        9 
12       10 
13       11 
14        9 
15      NaN 
16       10 
17        4 
18        9 
19        9 

这就是我目前输入值的方式

df.category.value_counts() 
 
9     6 
12    3 
10    3 
4     2 
13    1 
11    1 
 
df.category.value_counts()/16 
 
9     0.3750 
12    0.1875 
10    0.1875 
4     0.1250 
13    0.0625 
11    0.0625 
 
# to fill categorical info based on percentage 
category_fill = np.random.choice((9, 12, 10, 4, 13, 11), size = 4, p = (.375, .1875, .1875, .1250, .0625, .0625)) 
df.loc[df.category.isnull(), "category"] = category_fill 

最终输出成功,只需要花点时间写

df.category.value_counts() 
 
9     9 
12    4 
10    3 
4     2 
13    1 
11    1 

是否有更快的方法或可用于此目的的函数?

感谢所有帮助!

请您参考如下方法:

你可以使用 stats.rv_discrete :

from scipy import stats 
 
counts = df.category.value_counts() 
dist = stats.rv_discrete(values=(counts.index, counts/counts.sum())) 
fill_values = dist.rvs(size=df.shape[0] - df.category.count()) 
df.loc[df.category.isnull(), "category"] = fill_values 

编辑:对于一般数据(不限于整数),您可以:

dist = stats.rv_discrete(values=(np.arange(counts.shape[0]),  
                                 counts/counts.sum())) 
fill_idxs = dist.rvs(size=df.shape[0] - df.category.count()) 
df.loc[df.category.isnull(), "category"] = counts.iloc[fill_idxs].index.values