在使用 python 多处理编写一些并行代码时,我注意到在我的 Mac 笔记本电脑和 Windows 服务器计算机上运行代码之间存在奇怪的性能行为差异。当我连续运行代码时,Mac 笔记本电脑的速度大约是 Windows 机器的两倍,但在使用 2 个内核运行时速度是 Windows 机器的两倍,并且它的性能随着更多内核(仍然低于总内核数)而趋于平稳,而 Windows 机器显示出不错的缩放比例。
仔细研究 cProfile,我意识到使用多个内核,Mac 几乎所有时间都在调用 datetime.datetime.now,它用于执行一些内部计时,使用以下代码上下文管理器:
class timer:
def __init__(self):
self.timer = datetime.datetime.now
def __enter__(self):
self.start = self.timer()
return self
def __exit__(self, *arg):
self.end = self.timer()
self.elapsed = (self.end - self.start)
它的用法类似于:
with timer() as t:
<run some code>
total_time += t.elapsed
当我修改代码以不调用 datetime.datetime.now 并设置 self.elapsed = datetime.timedelta(0) 时,我恢复了适当的并行缩放。
我在 Windows 下没有看到这种行为,所以我想知道为什么 OSX 从多个进程调用 now() 会影响性能。与单个串行运行相比,调用程序的两个串行实例不会导致一个进程影响另一个进程的性能。
有人对这种行为有解释吗?我在两台机器上都使用 Python 2.7.10。
请您参考如下方法:
This question可能会给出解释。
我的猜测是 MAC OS 不允许对实时时钟进行并发读取访问。因此,当时只有一个进程可以读取该值,这大大降低了性能。
要验证上述链接中给出的答案,您可以检查进程在读取时间时是否真的暂停等待 IO 等待。只需生成大量只读取时间的进程并检查它们是否在 IO 等待中挂起。
