python之如何在 pyspark 列表达式中引用名称中带有连字符的列

我有一个像这样的 json 文档(请注意，这个模式不受我的控制——我不能去掉键中的连字符):

{ 
   "col1": "value1", 
   "dictionary-a": { 
      "col2": "value2" 
   } 
} 

我使用 session.read.json(...) 将此 json 读入数据框(名为“df”)，如下所示:

df = session.read.json('/path/to/json.json') 

我想这样做:

df2 = df.withColumn("col2", df.dictionary-a.col2) 

我得到错误:

AttributeError: 'DataFrame' object has no attribute 'dictionary' 

如何在 pyspark 列表达式中引用名称中带有连字符的列？

请您参考如下方法:

如您所见，df.dictionary-a.col2 中的连字符被评估为减法:df.dictionary - a.col2。

相反，您可以使用 pyspark.sql.functions.col按名称和 pyspark.sql.Column.getItem 引用列通过键访问字典的元素。

尝试:

from pyspark.sql.functions import col 
df2 = df.withColumn("col2", col("dictionary-a").getItem("col2"))