python之在 Jupyter Notebook 中将 PySpark Dataframe 显示为 HTML 表格

我试图在 Jupyter Notebook 中将 PySpark 数据框显示为 HTML 表格，但所有方法似乎都失败了。

使用此方法显示文本格式的表格:

import pandas 
df.toPandas() 

使用此方法将 HTML 表格显示为字符串:

df.toPandas().to_html() 

这会打印未解析的 HTML 更漂亮，但它不会解析为表格:

print(df.toPandas().to_html()) 

所有这些

from IPython.display import display, HTML 
 
HTML(df.toPandas().to_html()) 
print(HTML(df.toPandas().to_html())) 
display(HTML(df.toPandas().to_html())) 

简单地打印这个对象描述:

<IPython.core.display.HTML object> 

我可以尝试其他任何想法吗？

请您参考如下方法:

我在 AWS EMR 集群上的 JupyterLab 笔记本中使用 PySpark 内核遇到了这个问题。我发现 sparkmagic 命令 %%display 解决了这个问题。例如，我的 Jupyter 单元看起来像 -

%%display 
some_spark_df 

还值得指出的是，如果 %%display 和变量之间存在空行，则会出错。

但是我不确定如何对 pandas 数据框执行相同的操作。当使用 PySpark 内核(与纯 Python3 内核相反)时，它仍然返回对象描述