Skip to main content
 首页 » 编程设计

python之何时在单热编码 ML 工作负载中使用暗阵列与 dask 数据帧

2025年01月19日10sxdcgaq8080

我有一个数据集,它是一个巨大、短而宽的矩阵 (~4000 x 20,000,000)。我认为 dask 对我来说可能是一个很好的解决方案。但是,我想确保我可以将它编码为一个单热矩阵。我查看了 dask-ml 中的选项,它们似乎总是需要一个 dask 数据框。然而,创建一个包含 2000 万列的数据框似乎真的很奇怪并且可能会导致大量开销。仅使用 dask 数组并以某种方式在轴上使用 apply 将每列转换为 1-hot 是否更容易?感谢您的任何建议。

请您参考如下方法:

我相信 dask-ml 也支持 dask.arrays

但是,dask-ml 和 dask.dataframe 的算法都是跨行并行的,而不是跨列的,因此两者都不太适合。

我怀疑您的矩阵可能非常稀疏。无论您走哪条路,我都建议您查看稀疏矩阵,例如 scipy.sparse 中的矩阵。 , 或 sparse包。后一个包与 dask.array 兼容,它支持沿任何维度的分块,而不仅仅是行。