Skip to main content
 首页 » 编程设计

python之将 HDF5 子集存储为数据集(在 Python 中)

2025年05月04日9落叶

我对 HDF5 的了解有限,但我想了解一些有关 HDF 选择的内容。

为了提供一些背景信息,我对将 HDF5 用于机器学习应用很感兴趣。假设您有一个包含 n 行和 p 列的数据矩阵。在典型的 k 折叠交叉验证设置中,您会将矩阵拆分为 k 样本(每个样本的大小为 (n/k, p)) 并重复使用 k-1 进行训练,1 进行测试。当然,存储所有的训练和测试集会占用大量空间。这是 HDF5 选择可以提供帮助的地方。

如果我没理解错的话,选择可以指代数据集的任何子集。此外,可以将选择存储到数据集中。因此,从 HDF5 中的 (n, p) 数据集开始,我可以创建 k 组(每个折叠一个),包含训练数据集(行的子集在原始数据集中)和测试数据集(其余部分)。由于它只是引用,因此不会占用太多空间。

我找到了一些关于选择的文档,但不是很清楚。代码示例是C语言,修改起来有点苛刻,我主要使用Python。我在 PyTables 中没有找到与此相关的任何内容。我找到了 some examples in h5py但我不知道如何将数据放入子集中。

有人可以确认这是一种有趣的方法并提供一些 python 代码来将数据集中的行子集存储为另一个数据集吗?

请您参考如下方法:

感谢 h5py 社区,我几乎能够做到这一点。查看线程 here .