Skip to main content
 首页 » 编程设计

python之如何转换 Dataframe Column1 :Column2 (key:value) in Dictionary in Pyspark

2025年05月04日33lidabo

我有一个具有不同 Atr1 值的 Dataframe 并且它具有一些其他属性,我想从中生成一个字典,考虑字典的键 Atr1 的每个值(唯一值,正如我之前所说), 字典的值是 Atr2 的值。

这是数据框:

+------+------+------+------+ 
| Atr1 | Atr2 | Atr3 | Atr4 | 
+------+------+------+------+ 
|  'C' |  'B' |  21  |  'H' | 
+------+------+------+------+ 
|  'D' |  'C' |  21  |  'J' | 
+------+------+------+------+ 
|  'E' |  'B' |  21  |  'K' | 
+------+------+------+------+ 
|  'A' |  'D' |  24  |  'I' | 
+------+------+------+------+ 

我想要这样的字典:

Dict -> {'C': 'B', 'D': 'C', 'E': 'B', 'A': 'D'} 

我该怎么做?

请您参考如下方法:

你可以只使用一个简单的collectAsMap():

df.select("Atr1", "Atr2").rdd.collectAsMap()