我经常需要使用 PBS 队列系统运行大量小型作业(运行几分钟)。这些作业使用相同的脚本来处理不同的输入,并且它们通常需要不同的时间。
因为job数量太多,PBS队列不能很好的处理。而且因为不同的工作需要不同的时间,所以使用 pbsdsh 效率不高。
因此,想法解决方案是将一些作业(例如 100 个小作业)打包到一个作业中。这一个作业可以提交到一个 16 核的节点上。在这个节点上,16个进程(对应16个小作业)在每个核上并行运行。一旦一个进程在核心上完成,新进程就会在该核心上运行。如果我能做到这一点,它既会大大减少作业数量(100 倍),又不会浪费任何计算时间。
有没有人对此有任何推荐的解决方案?
谢谢。
请您参考如下方法:
Snakemake可能很适合你的情况。查看有关 --cluster 和 -j N 选项的文档。当您使用 -j N 选项运行 snakemake 时,它一次只会提交 N 个作业。然后,当每个作业完成时,它将开始一个新作业。
P
