Skip to main content
 首页 » 编程设计

python之如何使用 python 将流上传到 AWS s3

2025年01月19日8jpfss

我想创建一个从 S3 获取 zip 文件(可能包含 csv 文件列表)的 lambda,将其解压缩并上传回 s3。 由于 lambda 受内存/磁盘大小的限制,我必须将它从 s3 流式传输并返回到它。 我使用 python (boto3) 看下面我的代码

count = 0 
obj = s3.Object( bucket_name, key ) 
buffer = io.BytesIO(obj.get()["Body"].read()) 
print (buffer) 
z = zipfile.ZipFile(buffer) 
for x in z.filelist: 
    with z.open(x) as foo2: 
        print(sys.getsizeof(foo2)) 
        line_counter = 0 
        out_buffer = io.BytesIO() 
        for f in foo2: 
            out_buffer.write(f) 
            # out_buffer.writelines(f) 
            line_counter += 1 
        print (line_counter) 
        print foo2.name 
        s3.Object( bucket_name, "output/"+foo2.name+"_output" ).upload_fileobj(out_buffer) 
        out_buffer.close() 
z.close() 

结果是,在存储桶中创建空文件。 例如:如果文件:input.zip 包含文件:1.csv、2.csv 我在存储桶中得到了 2 个具有相应名称的空 csv 文件。 另外,我不确定它是否确实流式传输文件,或者只是下载所有的 zip 文件 谢谢

请您参考如下方法:

您需要seek在上传之前回到 ByesIO 文件的开头。

out_buffer = io.BytesIO() 
for f in foo2: 
    out_buffer.write(f) 
    # out_buffer.writelines(f) 
    line_counter += 1 
 
out_buffer.seek(0) # Change stream position to beginning of file 
 
s3.Object( bucket_name, "output/"+foo2.name+"_output").upload_fileobj(out_buffer) 
out_buffer.close()