Skip to main content
 首页 » 编程设计

python之在多个 astropy 表上使用 vstack 时如何避免内存爆炸

2025年01月19日13mfrbuaa

我需要通过合并许多较小的表来构建一个大型 astropy 表。我重复使用 vstack 作为 bigTable = vstack([bigTable, smallTable]) 但内存消耗得非常快。 每个单独的表通常是 9 列乘以 ~1000 行,经过 5 或 6 次迭代后,内存 >100 GB

请您参考如下方法:

感谢Christoph我找到了解决方案。我只需要使用列表一次 vstack 所有小表。

from astropy.table import Table, vstack 
catList = [] 
for ... : 
   catList.append(cat) 
bigCat = vstack(catList) 

由于某些原因,“vstacking”一个表本身是非常低效的