Skip to main content
 首页 » 编程设计

Python 和 AWS EMR 步骤 : Using os. 系统运行 chmod 等命令在作为 EMR 步骤运行时不起作用

2024年12月31日10zhenyulu

我的团队在 AWS 中工作,我们有 python 脚本,可以将文件从 S3 存储桶移动到 EC2 实例。我想用我们正在使用的脚本作为序言,它在直接从 ec2 实例运行时有效,并且仅在作为 EMR 步骤运行时发出。 (尝试自动化)这里有一些代码片段可以手动工作,但不能按步骤定义。

1: 创建记录器

import os, sys, boto3 
import logging, datetime 
import Configuration as cfg 
 
# setup logger for this module 
logger = logging.getLogger(__name__) 
logger.setLevel(logging.INFO) 
formatter = logging.Formatter(cfg.logFormatterStr) 
logFileName = os.path.splitext(os.path.basename(__file__))[0] + '_' + \ 
                 datetime.datetime.now().strftime('%Y%m%d_%H%M%S.log') 
file_handler = logging.FileHandler(logFileName) 
file_handler.setFormatter(formatter) 
logger.addHandler(file_handler) 

2:我们下载对象。

for pre in prefixes: 
for obj in SB.objects.filter(Prefix=pre): 
    if '.' in obj.key: 
        temp = obj.key.split('/') 
        objList.append((obj.key,temp[-1])) 
for item in objList: 
    SB.download_file(item[0],os.getenv("HOME") + '/' + item[1]) 
    logger.info('Downloaded - %s' % item[0]) 
objList[:] = [] 

3: 然后我们尝试使用 os.system 执行 chmod 命令以及 mkdir 和 mv

os.system('chmod 775 *.py') 
 
# Move HQL files to a subfolder 
os.system('mkdir -p hive') 
os.system('mv -f *.hql hive') 

第 2 步有效。文件被下载到 ec2 实例。 由于某种原因,日志文件从未被写入或创建。我们得到所有 os.system 命令的错误。

chmod: cannot access ‘*.py’: No such file or directory 
mv: cannot stat ‘*.hql’: No such file or directory 

(我们非常确定 *.hql 和 *.py 周围的不寻常字符是亚马逊记录报价的一些问题。

请您参考如下方法:

我的一名团队成员设法排除故障并找到了错误的原因。他在下面对其他人的陈述:

我的脚本位于/home/hadoop 下。当我将该脚本作为 EMR 步骤运行时(使用/home/hadoop 中文件位置的参数),该脚本在不同的目录下运行(/mnt/var/lib/hadoop/steps/{ unique-step-ID }). 由于运行的脚本正在寻找/home/hadoop 下的文件,因此找不到它并且似乎是权限问题。