我使用 DataFrame.saveAsParquet() 命令在 Spark 上保存了一个 parquet 文件。
如何通过 python 代码删除/删除此文件？
请您参考如下方法:
这个 Parquet "file"实际上是一个目录。 This answer显示如何删除包含文件的目录
import shutil
shutil.rmtree('/folder_name')
python之如何删除 Spark 上的 Parquet 文件
2024年10月17日29dyllove98
阅读延展
- python之使用 spark ml(数据框)进行逻辑回归
- python之Pyspark reduceByKey 返回元组列表
- python之数据框 pyspark 到 dict
- python之在 PySpark 中提取特定行
- python之PySpark reduceByKey 只用一个键
- python之从 PySpark 数组列中删除重复项
- python之将RDD保存为pyspark中的序列文件
- python之将类函数传递给 PySpark RDD
- python之从 PySpark 的 RDD 中的数据中查找最小和最大日期
- python之使用 pyspark 解析 json 流
- python之如何在 IBM 的 Spark 服务上列出预装的 Python 包
- python之将 spark 数据框列传递给 geohash 函数之pyspark。无法将列转换为 bool :
