我正在尝试使用以下代码从存储在 S# 存储桶中的 CSV 中获取记录子集:
s3 = boto3.client('s3')
bucket = bucket
file_name = file
sql_stmt = """SELECT S.* FROM s3object S LIMIT 10"""
req = s3.select_object_content(
Bucket=bucket,
Key=file,
ExpressionType='SQL',
Expression=sql_stmt,
InputSerialization = {'CSV': {'FileHeaderInfo': 'USE'}},
OutputSerialization = {'CSV': {}},
)
records = []
for event in req['Payload']:
if 'Records' in event:
records.append(event['Records']['Payload'])
elif 'Stats' in event:
stats = event['Stats']['Details']
file_str = ''.join(r.decode('utf-8') for r in records)
select_df = pd.read_csv(StringIO(file_str))
df = pd.DataFrame(select_df)
print(df)
这成功生成了记录,但遗漏了标题。
我在这里阅读S3 Select CSV Headers S3 Select 根本不产生 header 。那么,是否可以通过任何其他方式在 S3 中检索 CSV 文件的 header ?
请您参考如下方法:
更改 InputSerialization={'CSV': {"FileHeaderInfo": "Use"}},
TO InputSerialization={'CSV': {"FileHeaderInfo": "NONE"}},
然后,它将打印全部内容,包括header。
解释:
FileHeaderInfo 接受“NONE”或“USE”或“IGNORE”之一。
使用 NONE 选项而不是 USE,然后它也会打印 header,因为 NONE 告诉您还需要 header 以及 processing。
希望对你有帮助。
