我已经在 Databricks 中安装了一个 Blob 存储帐户,并且可以正常访问它,所以我知道它可以工作。
不过,我想做的是列出给定路径中所有文件的名称。目前我正在这样做:
list = dbutils.fs.ls('dbfs:/mnt/myName/Path/To/Files/2019/03/01')
df = spark.createDataFrame(list).select('name')
但我遇到的问题是,它非常慢.. 由于该位置大约有 160,000 个 blob(存储资源管理器将其显示为 ~1016106592 字节,即 1Gb!)
这肯定不能拉下所有这些数据,我需要/想要的只是文件名..
blob 存储是我的瓶颈,还是我可以(以某种方式)让 Databricks 并行执行命令之类的?
谢谢。
请您参考如下方法:
根据我的经验和我对 Azure Blob 存储的理解,SDK 中的所有操作或 Azure Blob 存储上的其他操作都将转换为 REST API 调用。所以您的 dbutils.fs.ls 调用实际上是在调用相关的 REST API List Blobs在一个 Blob 容器。
因此,我敢肯定,通过将 Blob 存储上的 XML 响应主体的 blob 列表的数量大小的数据传输到 Blob 名称到 list 变量,即使有大约 160,000 个 blob。
同时,所有的 blob 名称将被包裹在许多 XML 响应切片中,并且每个切片有一个 MaxResults 限制,并且获取下一个切片取决于 NextMarker 前一个切片的值。以上原因就是为什么list blob慢,而且不能并行。
我的提升blob list加载效率的建议是提前缓存list blob的结果,比如生成一个blob逐行写入blob list。考虑到实时更新,可以尝试使用Azure Function with Blob Trigger当发生 blob 创建事件时,将 blob 名称记录添加到 Append Blob。
