Skip to main content
 首页 » 编程设计

python之将多核与 LocalMRJobRunner 用于 MRJob

2024年10月24日14oomusou

我正在为我的 mapreduce 作业使用 python yelp/mrjob 框架。只有大约4G的数据,我不想经历设置Hadoop或EMR的麻烦。我有一台 64 核机器,用 mrjob 处理数据大约需要 2 个小时。我注意到 mrjob 为我的工作分配了 54 个映射器,但它似乎一次只运行一个。有没有办法让 mrjob 与我所有的 cpu 内核并行运行所有任务?

我手动更改了任务数量,但没有太大帮助。 --jobconf mapred.map.tasks=10 --jobconf mapred.reduce.tasks=10

编辑: 当我执行作业时,我有 -r local,但是,查看 code ,它似乎默认一次运行一个进程。请告诉我我错了。

请您参考如下方法:

mrjob 的本地作业运行器只为每个 MR 阶段生成一个子进程,一个用于映射器,一个用于组合器(可选),一个用于缩减器,并通过管道在它们之间传递数据。它根本没有设计成具有任何并行性,因此它永远不会利用您的 64 核。

我的建议是在本地机器上运行 hadoop 并使用 -r hadoop 选项提交作业。以伪分布式模式在本地计算机上运行的 hadoop 集群应该能够利用您的多核。

请参阅解决该主题的问题:Full utilization of all cores in Hadoop pseudo-distributed mode