我正在使用 SLURM 在集群上测试 Python 的 multiprocessing 模块。我想绝对确保我的每个任务实际上都按照我的意图在单独的 cpu 内核上运行。由于配置 SLURM 的多种可能性,这一点并不明显。
因此,我想知道是否有一种方法可以从正在运行的 Python 任务中获取核心特定信息。我需要我的 Python 脚本来获取有关其运行的内核的信息,以便区分各种内核。
考虑以下脚本。启动了 10 个任务。有没有办法让他们每个人打印关于他们被分配到的核心的核心特定信息?
import multiprocessing
def hello():
print "Hello World"
pool = multiprocessing.Pool()
jobs = []
for j in range(10):
p = multiprocessing.Process(target = hello)
jobs.append(p)
p.start()
请您参考如下方法:
在 Linux、FreeBSD、SunOS 上,您可以使用 psutil - 模块:
psutil.Process().cpu_num()
请注意,只要您不同时设置 cpu-affinity,您的操作系统就会随意将执行迁移到不同的内核。默认情况下,进程不会分配给特定的核心,通常最好让您的操作系统决定在哪个核心上运行某些东西。
