Skip to main content
 首页 » 编程设计

python之S3 选择检索 CSV 中的 header

2024年11月24日9三少

我正在尝试使用以下代码从存储在 S# 存储桶中的 CSV 中获取记录子集:

s3 = boto3.client('s3') 
bucket = bucket 
file_name = file 
 
sql_stmt = """SELECT S.* FROM s3object S LIMIT 10""" 
 
 
req = s3.select_object_content( 
    Bucket=bucket, 
    Key=file, 
    ExpressionType='SQL', 
    Expression=sql_stmt, 
    InputSerialization = {'CSV': {'FileHeaderInfo': 'USE'}}, 
    OutputSerialization = {'CSV': {}}, 
) 
 
records = [] 
for event in req['Payload']: 
    if 'Records' in event: 
        records.append(event['Records']['Payload']) 
    elif 'Stats' in event: 
        stats = event['Stats']['Details'] 
 
 
file_str = ''.join(r.decode('utf-8') for r in records) 
 
select_df = pd.read_csv(StringIO(file_str)) 
df = pd.DataFrame(select_df) 
print(df) 

这成功生成了记录,但遗漏了标题。

我在这里阅读S3 Select CSV Headers S3 Select 根本不产生 header 。那么,是否可以通过任何其他方式在 S3 中检索 CSV 文件的 header ?

请您参考如下方法:

更改 InputSerialization={'CSV': {"FileHeaderInfo": "Use"}},

TO InputSerialization={'CSV': {"FileHeaderInfo": "NONE"}},

然后,它将打印全部内容,包括header。

解释:

FileHeaderInfo 接受“NONE”或“USE”或“IGNORE”之一。

使用 NONE 选项而不是 USE,然后它也会打印 header,因为 NONE 告诉您还需要 header 以及 processing。

这里是引用。 https://boto3.amazonaws.com/v1/documentation/api/latest/reference/services/s3.html#S3.Client.select_object_content

希望对你有帮助。