Skip to main content
 首页 » 编程设计

python之非比例随机样本

2025年02月15日8youxin

我有一个 pandas dataframe,比如这个:

deviceID    timestamp   time_since_previous_timestamp 
A           3           NaN             
A           14          11             
A           127         113 
A           133         6               
# 7k other data points for deviceID = A                                   
B           1           NaN  
B           12          11 
# 1.5k other datapoints for deviceID = B                                   
C           42          NaN 
C           48          6 
# 600 other data points for deviceID = C 

依此类推,基本上我无法控制每个 deviceID 有多少个数据点,而且它可能变化很大。

为了不让我的绘图因某些 deviceID 具有比其他设备更多的数据点这一事实而扭曲,我考虑对我的数据帧进行随机抽样,旨在获得大约来自每个 deviceID 的相同数量的数据点(即:我的样本将有约 400 行 deviceID = A,约 400 行 deviceID = B, ~400,deviceID = C,依此类推)

我该怎么做? (使用 pandas 和/或 numpy 和/或两者都不使用)。


编辑:我在策划什么:

首先,我根据 time_since_previous_timestamp 进行分组并计数:

time_since_previous_timestamp         count 
NaN                                   3 
6                                     2 
11                                    2 
113                                   1 

然后绘制 count 作为 y 轴和 time_since_previous_timestamp 作为 x 轴。

请您参考如下方法:

你可以使用 pandas.DataFrame.sample指定 n=400 结合 pandas.DataFrame.loc然后使用 pandas.concat 连接所有部分像这样:

df = pd.concat([df.loc[df.ID == 'A'].sample(n=400),df.loc[df.ID == 'B'].sample(n=400),df.loc[df.ID == 'C'].sample(n=400)]) 

示例测试:

#df: 
#    B ID 
#0  10  A 
#1   9  A 
#2   8  A 
#3   7  A 
#4   6  B 
#5   5  B 
#6   4  B 
#7   3  C 
#8   2  C 
#9   1  C 
 
df = pd.concat([df.loc[df.ID == 'A'].sample(n=2),df.loc[df.ID == 'B'].sample(n=2),df.loc[df.ID == 'C'].sample(n=2)]) 

输出:

    B ID 
0  10  A 
3   7  A 
6   4  B 
5   5  B 
8   2  C 
7   3  C 

您还可以修复 random_state 以始终具有相同的随机样本。

我相信这就是您的要求。