Skip to main content
 首页 » 编程设计

python之Pytables EArray 与表的速度/效率对比

2024年11月01日9findumars

我试图找出在 pytables 中存储时间值对的最有效方法是什么。我正在使用 pytables,因为我正在处理大量数据。我需要对数据进行计算(平均、插值等)。提前不知道行数。

我知道可以附加 EArray,就像表格一样。有理由选择其中之一吗?

考虑到我的简单数据结构(同类时间值对),我认为 EArray 会更快/最有效,但 pytables 创建者本人的以下引述让我失望了:

“...PyTables 是专门针对表格进行调整的。
这些实体使用特殊的 I/O 缓冲区和查询引擎 微调最大速度。 *数组对象不穿一样 机械。” quote location

请您参考如下方法:

如果列有一些特定的含义或名称,那么您绝对应该使用表。

效率在很大程度上取决于您对数据进行的操作类型。大多数时候不会有太大的区别。 EArray 在行访问方面可能更快,表在列访问方面可能稍微好一些,并且它们对于整个表/EArray 访问应该非常相似。

当然,当您想做的不仅仅是访问元素,而是想查询或转换数据时,您应该使用表。表实际上是围绕这种通过 where() 方法和索引进行查询的想法构建的,这使得此类操作非常快。 EArrays 缺乏这种基础设施,因此速度较慢。