Skip to main content
 首页 » 编程设计

python之Pyspark Dataframe pivot 和 groupby 计数

2024年08月12日39dflying

我正在处理如下所示的 pyspark 数据框

<表类="s-表"> <头> id 类别 <正文> 1 一个 1 一个 1 B 2 B 2 一个 3 B 3 B 3 B

我想拆开类别列并计算它们的出现次数。所以,我想要的结果如下图所示

<表类="s-表"> <头> id A B <正文> 1 2 1 2 1 1 3 为空 3

我尝试在互联网上寻找可以帮助我的东西,但我找不到任何可以给我这个特定结果的东西。

请您参考如下方法:

简短版本,不必执行多个 groupBy

df.groupBy("id").pivot("category").count().show()