Skip to main content
 首页 » 编程设计

python之在 Lambda 中读取 AWS S3 CSV 列名

2024年11月01日8wuhuacong

我正在尝试编写一个脚本,该脚本从 AWS Aurora Serverless MySQL 数据库表中收集架构,从存储在 AWS S3 存储桶中的 CSV 文件中收集列标题,并且仅在其列标题时将 CSV 写入表是模式的子集(例如,如果表字段是 ['Name', 'DOB', 'Height'] 但 CSV 字段是 ['Name', 'DOB', 'Weight'] 脚本将抛出一个异常。

到目前为止,我已成功在 AWS Lambda 函数中返回表架构,并成功读取 CSV 文件,但我不确定如何从 S3 对象获取列标题。

def return_db_schema(event): 
    schema = [] 
    conn = pymysql.connect(rds_host, user=name, passwd=password, db=db_name, connect_timeout=5) 
    with conn.cursor() as cur: 
        cur.execute('SHOW columns FROM SampleTable') 
        conn.commit() 
        cur.close() 
        for row in cur: 
            schema.append(list(row)[0]) 
        return schema 
 
def return_csv_cols(event): 
    s3 = boto3.client('s3') 
    tester = s3.get_object(Bucket=s3_bucket, Key=test_key) 
    contents = tester['Body'].read() 
 
def main(event, context): 
    print(return_db_schema(event)) 
    print() 
    print(return_csv_cols(event)) 

我不确定如何从这里开始(例如,有没有一种方法可以在不将 CSV 加载到 pandas DataFrame 并调用 df.columns() 或类似的东西的情况下执行此操作?)。

请您参考如下方法:

我已经用下面的代码解决了这个问题:

    s3 = boto3.client('s3') 
    tester = s3.get_object(Bucket=s3_bucket, Key=test_key) 
    contents = tester['Body'].read().decode('UTF-8') 
    cols = contents.split('\n')[0].split(',') 
    return cols, contents