我有一个 pandas dataframe,比如这个:
deviceID timestamp time_since_previous_timestamp
A 3 NaN
A 14 11
A 127 113
A 133 6
# 7k other data points for deviceID = A
B 1 NaN
B 12 11
# 1.5k other datapoints for deviceID = B
C 42 NaN
C 48 6
# 600 other data points for deviceID = C
依此类推,基本上我无法控制每个 deviceID 有多少个数据点,而且它可能变化很大。
为了不让我的绘图因某些 deviceID 具有比其他设备更多的数据点这一事实而扭曲,我考虑对我的数据帧进行随机抽样,旨在获得大约来自每个 deviceID 的相同数量的数据点(即:我的样本将有约 400 行 deviceID = A,约 400 行 deviceID = B, ~400,deviceID = C,依此类推)
我该怎么做? (使用 pandas 和/或 numpy 和/或两者都不使用)。
编辑:我在策划什么:
首先,我根据 time_since_previous_timestamp 进行分组并计数:
time_since_previous_timestamp count
NaN 3
6 2
11 2
113 1
然后绘制 count 作为 y 轴和 time_since_previous_timestamp 作为 x 轴。
请您参考如下方法:
你可以使用 pandas.DataFrame.sample指定 n=400 结合 pandas.DataFrame.loc然后使用 pandas.concat 连接所有部分像这样:
df = pd.concat([df.loc[df.ID == 'A'].sample(n=400),df.loc[df.ID == 'B'].sample(n=400),df.loc[df.ID == 'C'].sample(n=400)])
示例测试:
#df:
# B ID
#0 10 A
#1 9 A
#2 8 A
#3 7 A
#4 6 B
#5 5 B
#6 4 B
#7 3 C
#8 2 C
#9 1 C
df = pd.concat([df.loc[df.ID == 'A'].sample(n=2),df.loc[df.ID == 'B'].sample(n=2),df.loc[df.ID == 'C'].sample(n=2)])
输出:
B ID
0 10 A
3 7 A
6 4 B
5 5 B
8 2 C
7 3 C
您还可以修复 random_state 以始终具有相同的随机样本。
我相信这就是您的要求。
